‘Encontros FAPERJ’ debate mecanismos de avaliação de projetos de P,D&I

Aline Salgado

Salles-Filho: coordenador de avaliação da Fapesp (Fotos: Lécio Augusto Ramos)

Não só de recursos financeiros se constrói ciência, tecnologia e inovação em um país. Saber mensurar, por meio de métodos quantitativos e qualitativos, os impactos que os investimentos em pesquisa, desenvolvimento e inovação (P,D&I) trazem para a sociedade é fundamental para se alcançar a excelência. De olho nessa nova tendência de gestão que vêm redirecionando as ações das agências de fomento do mundo todo, a FAPERJ, por meio do Núcleo de Estudos em Políticas Públicas para Inovação (Neppi), trouxe para a 4ª edição do Encontros FAPERJ, que aconteceu na última quarta-feira, 16 de setembro, na sede da Fundação, o professor do Departamento de Política Científica e Tecnológica do Instituto de Geociências da Universidade Estadual de Campinas (Unicamp), Sérgio Salles-Filho. Paralelamente, ele atua como coordenador especial de avaliação de programas da Fundação de Amparo à Pesquisa do Estado de São Paulo (Fapesp).

Há apenas oito anos, a fundação paulista vem avaliando seus programas e projetos de inovação. Sergio Salles-Filho destaca que, além de servir para prestar contas à sociedade, a construção de mecanismos internos de avaliação e medição de resultados de forma completa  ­– da submissão do projeto à entrega do relatório, passando pela análise posterior de seus efeitos na sociedade – permite o planejamento das políticas de apoio à pesquisa pelas agências de fomento.

“Ao conhecer os resultados dos impactos dos projetos e programas de pesquisa e inovação, consegue-se calibrar melhor onde se alocar recursos e redirecionar as abordagens. Em outras palavras, nos ajuda a entender qual é a melhor forma para investir na sociedade e onde causamos mudanças mais positivas, independente do tema”, afirmou o especialista. “Qualquer tipo de investimento pode ser medido, seja por indicadores objetivos, quantitativos, seja por meios qualitativos. Quando se desenha uma política e um programa de P,D&I, levando em conta avaliações sistemáticas, ajusta-se melhor as ações”, acrescentou.

Um grupo de 20 especialistas de importantes centros de pesquisa do País, como Finep, Universidade Federal do Rio de Janeiro (UFRJ), Universidade Federal Fluminense (UFF), Universidade do Estado do Rio de Janeiro (Uerj), Pontifícia Universidade Católica do Rio de Janeiro (PUC-Rio), Instituto Brasileiro de Geografia e Estatística (IBGE), Fundação Oswaldo Cruz (Fiocruz), Instituto Nacional de Tecnologia (INT) e Federação das Indústrias do Rio de Janeiro (Firjan), além do corpo técnico da FAPERJ, ouviu atento a explanação do assessor da Fapesp. Após apresentar um breve panorama dos modelos técnicos de avaliação usados por agências da Finlândia, Suécia e Escócia, Salles-Filho discutiu alguns dos critérios básicos seguidos.    

“A tendência internacional aponta para a avaliação do ciclo completo do projeto, para que seja possível avaliá-lo ao longo do tempo. Isto é, no formulário de submissão constam critérios e indicadores que permitem avaliar o projeto ex-ante, no monitoramento, ex-post e ex-post facto. Acostumou-se a fazer a avaliação apenas ex-post, sem coletar a linha de base. Entretanto, como saber 10 anos depois o número de funcionários que foram empregados por determinada empresa que recebeu um apoio? A precisão e a qualidade da informação caem. Muitas vezes o pesquisador já nem tem mais essa informação ou o coordenador do projeto mudou-se de organização e o dado se perde”, comentou Salles-Filho.

O especialista também destacou alguns critérios que devem ser observados no planejamento das ações de avaliação. Seguir uma sistemática que preveja a análise interna dos projetos ao longo do tempo, por meio de formulários de submissão, de entrega do projeto, e da análise dos resultados posteriores é um procedimento básico. "Para além da gestão interna dos resultados, é preciso que haja uma avaliação externa, de tempos em tempos", diz o assessor técnico. Isto é, com o auxílio de uma consultoria desvinculada da agência de fomento, garante-se que o processo de avaliação dos resultados “não fique viciado”.  

Estiveram presentes no encontro, especialistas de nove centros de pesquisa com sede no estado

Outro aspecto é a análise multidimensional das pesquisas. Para Salles-Filho, muito além da parte científica e tecnológica, é preciso que os resultados dos projetos sejam avaliados do ponto de vista econômico, social e ambiental. Mapear mecanismos diretos e indiretos que mensurem os impactos da pesquisa é mais um critério que precisa ser considerado, segundo o especialista.

“A publicação de um paper na Science é um critério que pode ser dimensionado, assim como o número de citações que esse paper recebeu ou os impactos que um novo produto que foi lançado teve sobre o faturamento da empresa”, exemplificou Salles-Filho. “Por fim, é importante juntar um mix de indicadores quantitativos e qualitativos que permitam analisar os resultados. Não apenas baseados em dados, que muitas vezes não mostram a realidade das coisas, mas também com opiniões”, indicou ele.

Para tornar mais factível o processo de mensuração de resultados em programas de fomento à pesquisa e inovação, Salles-Filho apresentou alguns cases. Entre eles, o estudo dos impactos da Lei de Informática e a avaliação de resultados e impactos das bolsas oferecidas pela própria Fapesp. A mensuração do apoio a projetos conduzidos pela iniciativa privada também entrou no debate.

Diante das recentes ações de financiamento da FAPERJ a projetos de inovação conduzidos por empresários, a diretora de Tecnologia da FAPERJ, Eliete Bouskela, questionou que métricas poderiam ser utilizadas para avaliar, de forma clara, como os recursos disponibilizados estão sendo aplicados. Para Salles-Filho, os procedimentos seguem uma lógica parecida com a avaliação científica, mas usam indicadores econômicos, tais como taxa interna de retorno, relação benefício-custo, emprego, qualidade do trabalho, impactos ambientais, etc. 

“Após a análise de mérito (ex-ante), é preciso que se construa um sistema para avaliar os efeitos que aquele projeto gerou”, diz ele. Segundo o especialista, nesse sentido, muito além dos indicadores clássicos, é preciso que se criem outros critérios, que avaliem os impactos futuros. Como, por exemplo, no caso de uma inovação produtiva, os reflexos no faturamento da empresa, nas exportações ou em termos de qualidade de trabalho, que só aparecem com o tempo.

Segundo o assessor técnico da Fapesp, a agência de fomento tem o dinheiro e a capacidade de indicar caminhos, uma missão que deve fazer parte de seu dia a dia. “É importante que a instituição converse com os stakeholders e entre em consenso do que vai ser avaliado e de como será conduzida essa avaliação”, concluiu.

Sobre os Encontros FAPERJ

Organizados pelo Núcleo de Estudos em Políticas Públicas para Inovação (Neppi), os encontros têm a coordenação de Thiago Renault, diretor da Agência de Inovação (Agir), da UFF, e conta com a participação do professor José Manoel Carvalho de Mello, assessor da Agir, e de Sérgio Yates, empreendedor e pesquisador. Em conjunto e com o apoio do presidente da FAPERJ, Augusto C. Raupp, e da diretora de Tecnologia da Fundação, Eliete Bouskela, os integrantes do Neppi esperam, por meio de estudos, debates e propostas, contribuir para alavancar os investimentos da FAPERJ na área de inovação tecnológica, aprimorando os editais sob a responsabilidade da diretoria de Tecnologia, de acordo com as reais necessidades de empresas inovadoras, de incubadoras de empresas, de núcleos de inovação tecnológica (NIT), de parques tecnológicos e de investidores na área de tecnologia.

Os próximos Encontros FAPERJ discutirão os seguintes temas: “As condições de capacitação de mão de obra e sua contribuição para os ambientes de inovação do Estado do Rio de Janeiro”, com a palestrante Renata La Rovere, do Instituto de Economia da UFRJ; “Potencial inovativo da Indústria Fluminense: desafios e oportunidades”, com Jorge Britto, do Departamento de Economia da UFF; e “A interação universidade-empresa na perspectiva da Associação Nacional de Pesquisa e Desenvolvimento das Empresas Inovadoras (Anpei) e a experiência da Natura”, com Leonardo Augusto Garnica, da Natura. As datas dos eventos ainda não foram definidas.