INESC TEC adota modelo de avaliação de resultados da Agência Espacial Europeia

Modelo de gestão INESC TEC que inclui avaliação de resultados por TRL foi considerado ‘excecional’ pela FCT  

O INESC TEC quis, assim, complementar a avaliação dos seus resultados científicos, medidos anteriormente apenas em número de publicações, doutoramentos e projetos realizados. Os resultados obtidos demonstraram que os projetos do INESC TEC cobrem toda a cadeia de valor, com 60% de outputs em Produção de Conhecimento e Investigação Aplicada e 40% em Desenvolvimento e Produto. O modelo de gestão INESC TEC, considerado ‘excecional’ pelo Painel da recente avaliação da FCT, beneficia fortemente desta forma profissionalizada de governar o processo de transformação do conhecimento em valor.

O que foi feito e como?

A avaliação por TRL foca-se no resultado final alcançado no projeto e não a sua qualidade geral ou, até mesmo, o percurso. Por essa mesma razão, é possível, com esta metodologia, avaliar a maturidade da tecnologia obtida pelos diversos projetos desenvolvidos no INESC TEC e obter tendências relativamente ao trabalho realizado pelos diversos centros e clusters.

Este modelo prevê a existência de nove TRL, ou seja, de nove níveis no amadurecimento de uma tecnologia, que se integram, por sua vez, em quatro dimensões: Produção de Conhecimento, Investigação Aplicada, Desenvolvimento e Produto.

Os TRL podem ser aplicados a projetos de hardware e sistemas, projetos de software, projetos de consultoria ou, até mesmo, a trabalhos de doutoramento.

TRL de sistemas

No quadro seguinte apresenta-se um diagrama de fluxo que resume os principais critérios que permitem caraterizar o nível de TRL alcançado por um projeto.

O TRL 1 diz respeito aos princípios básicos observados e trata-se do nível mais baixo de maturação tecnológica. A este nível, o resultado da investigação científica corresponde à observação e reporte de princípios básicos de conhecimento gerado. No TRL 2 é formulado o conceito tecnológico, mas o sistema ainda é altamente especulativo, não existindo uma prova experimental ou análise detalhada que a suporte.

O TRL 3 refere-se a resultados que passaram pela experimentação na forma de prova de conceito. Neste nível de TRL já se está numa fase de transição para a Investigação aplicada. No TRL 4 a tecnologia já deve ser validada em laboratório. Os testes devem provar que os elementos tecnológicos básicos envolvidos numa invenção podem ser integrados num sistema e/ou placa de ensaio de acordo com as especificações definidas.

O TRL 5 refere-se à validação em ambiente relevante. Este TRL requer que o componente e/ou breadboard seja validado num ambiente relevante. No TRL 6 a tecnologia ou sistema deve ser demonstrada num ambiente relevante. Deve ser apresentado um protótipo qualificado com todas as funcionalidades implementadas.

TRL 7 é um passo significativo na maturação além TRL 6, exigindo uma demonstração real do protótipo do sistema no ambiente operacional esperado. O TRL 8 pressupõe que exista já um sistema completo e qualificado, implementado com todas as funcionalidades definidas e testadas conforme as normas aplicadas ao produto ou setor.

No último nível, o TRL 9, o sistema está aprovado em condições operacionais. Este nível de maturação exige que o sistema seja operado no ambiente inicialmente previsto e com características de desempenho que satisfaçam os requisitos do sistema.

TRL para projetos software

O quadro abaixo apresenta uma árvore de decisão que resume os principais critérios de avaliação que permitem caraterizar o nível de TRL alcançado por um projeto.

O TRL 1 refere-se à formulação matemática detalhada com publicação dos resultados alcançados, ou seja, aos princípios básicos observados e reportados. No TRL 2 é esperado que exista já documentação de implementação do algoritmo, uma vez que está a ser formulado um conceito tecnológico.

O TRL 3 pressupõe o desenho da arquitetura das funções críticas do protótipo. Por sua vez, no TRL 4 deve ser feito o desenho da arquitetura e funcionalidades implementadas na versão ALPHA.

A versão BETA diz respeito ao TRL 5, onde a documentação deve incluir relatórios de testes e exemplos de aplicação. É feita uma implementação completa das funcionalidades. O product release está contemplado no TRL 6. Neste nível tem que existir documentação de acordo com as normas de qualidade para um produto de software.

A early adopter version, o TRL 7, inclui documentação que incorpore resultados das primeiras utilizações do produto. Nesta etapa é feita uma demonstração do sistema num ambiente operacional. O TRL 8, general product, refere-se a um sistema completo e qualificado, pronto para ser utilizado em ambiente real, uma vez que já inclui documentação composta por especificação, desenho, verificação e validação.

Por último, o TRL 9, live product, é um sistema aprovado em condições operacionais e pronto para ser utilizado em ambiente real. Inclui uma documentação como no nível 8, mas com manual de instalação e utilização e help desk em funcionamento.

TRL para projetos de consultoria

Nos projetos de consultoria a avaliação do TRL alcançado deverá ser feita tendo em consideração a fase do processo de I&D em que ocorre a intervenção realizada e de acordo com a tabela seguinte.

A consultoria prestada com avaliação TRL de 1 a 3 tem como objetivo a avaliação de tecnologias e tendências, correspondendo na maioria dos casos a estudos de vigilância tecnológica. Nos níveis 4 e 5 são avaliadas ferramentas, tecnologias e ambientes computacionais mais adequados à solução do problema em estudo. As consultorias feitas na fase de desenvolvimento e avaliadas com TRL de 6 a 7 traduzem-se em estudos de arquiteturas de aplicações ou bases de dados, metodologias de desenvolvimento de aplicações e sistemas, metodologias de teste e garantia de software confiável. As consultorias com avaliação TRL 8 ou 9 correspondem a trabalhos de otimização dos processos de produção, logística ou organização de layouts, reengenharia de processos de negócio e benchmark de produto.

TRL Doutoramentos

A avaliação de TRL dos doutoramentos deverá ser feita de acordo com as definições e metodologia anteriormente enunciadas para os projetos de sistemas ou de software conforme a natureza do tema de doutoramento. Ela incide sobre os resultados obtidos e não sobre o trabalho que a eles conduziu.

Resultados obtidos pelo INESC TEC

Esta avaliação em TRL permitiu concluir que os resultados dos projetos do INESC TEC cobrem toda a cadeia de valor, com 60% de outputs nas etapas de investigação e 40% nos níveis de desenvolvimento. O quadro seguinte permite observar a distribuição dos projetos relativamente aos TRL, para o período 2008-2013.

Por sua vez, o quadro seguinte permite observar a distribuição dos TRLs associados a resultados obtidos em cada Centro do INESC TEC. Observa-se uma heterogeneidade de perfis, o que decorre do posicionamento de cada centro na cadeia de produção de conhecimento a valor. A agregação por clusters mostra que cada um deles aparece já equilibrado.

Profissionalizar a gestão de ciência

Vladimiro Miranda, diretor do INESC TEC, tem uma visão muito positiva destes indicadores. “A sua aplicação sistemática deriva de um sentido de profissionalização da gestão de ciência, a qual só ocorre porque o INESC TEC é uma instituição que confere estratégia à atividade de investigação dos grupos diversos que nele coexistem. Este é o valor das instituições, que importa reconhecer e tantas vezes fica esquecido no discurso corrente”. E acrescenta: “a identificação da distribuição dos níveis de prontidão tecnológica revelou um perfil, para o INESC TEC, que coincidiu surpreendentemente com o desejado: 60% de atividade gerando resultados em ciência e 40% em aplicação. Se prova o acerto da política atá agora perseguida, implica uma superior responsabilidade em garantir a sua sustentação futura”.

Finalmente, o professor conclui: “A relevância social da ciência não se consegue apenas com excelência na ciência. É preciso apostar na excelência na gestão de ciência”, terminando com um apelo: “Se a avaliação pela FCT nos avaliou o modelo de gestão como excecional, o que nos deixou gratos, importaria que a política nacional no setor da ciência seguisse essa inspiração – isto é, pudesse gerar os estímulos adequados, não apenas a grupos científicos, mas também às instituições que enquadram esses grupos numa missão maior, reconhecendo o seu papel estruturante”.

Impacto e perspetivas futuras

De acordo com Augustin Olivier, responsável do Serviço de Apoio a Parcerias Empresariais (SAPE), que realizou este estudo, “a utilização do modelo de TRL é um instrumento poderoso de gestão de ciência no INESC TEC, uma vez permite ter um conhecimento real do posicionamento da instituição assim como dos diversos centros”.

O responsável considera, numa primeira análise, que o quadro global relativo ao INESC TEC demonstra claramente o relacionamento da instituição com o mundo empresarial, com 40% dos resultados dos projetos já próximos da sua integração nos processos de negócios das empresas. Augustin Olivier acrescenta, também, que os resultados mostram “a importância de dispor de atividades a montante que, de facto, alimentem o pipeline de conhecimentos necessários para trabalhar com as empresas”.

Por último, o responsável do SAPE e assessor da Direção do INESC TEC refere que “a análise dos centros por TRL demonstra o posicionamento estratégico que cada um tem na cadeia de valor de produção de conhecimento. Utilizando esta análise, juntamente com outros dados, foi criado o conceito de cluster que, pela agregação das sinergias científicas conjuntas, permite dispor de uma cadeia de valor resultante mais homogénea e indica as áreas requerentes de intervenção. Em última análise, esta ferramenta pode chegar ao nível do investigador individual”.

Os investigadores com ligação ao INESC TEC referidos nesta notícia tem vínculo às seguintes entidades parceiras: INESC Porto e FEUP.

INESC TEC, janeiro de 2015