Ciência, avaliação e "impactos": perspetivas de decisores de política e académicos

Abstract

A dissertação tem como principal objetivo clarificar e contribuir para a compreensão do significado do “impacto” no contexto das recentes tendências de avaliação da ciência em Portugal. Com efeito, os modos de produzir ciência têm vindo a alterar-se, em função das mudanças que atingem o sistema de ciência e de tecnologia. No campo específico da avaliação, a tendência geral é para aperfeiçoar as metodologias, através da definição de indicadores que permitam medir as várias dimensões do trabalho científico e possibilitem a aferição do seu “impacto”. Contudo, apesar do número e da amplitude dos indicadores que vão sendo propostos, a definição de “impacto” resulta numa tarefa difícil. Tal acontece não só porque a realidade medida não é perfeitamente traduzível em algo tangível, mas também porque existem diferenças significativas nos modos como as diferentes áreas produzem, disseminam e aplicam o conhecimento. Nesta tese incidimos sobre o estudo dos discursos e das representações de instituições e de decisores políticos, nomeadamente membros de equipas reitorais e administradores de centro e laboratório, assim como investigadores. Além da recolha e análise de diversos documentos de cariz institucional, o estudo implicou o contacto com estes atores através de entrevistas e inquéritos por questionário online pedindo-lhes que se prenunciassem quanto ao sentido que atribuem a uma das palavras mais centrais nos programas de avaliação e financiamento que é o “impacto”. A informação foi depois analisada mediante a técnica de análise de conteúdo, tendo sido possível confirmar algumas das hipóteses traçadas, nomeadamente sobre: (1) a ambiguidade do termo “impacto”, presente no discurso de diversas instituições e de atores com diferentes cargos nos sistemas científico e de diversas áreas científicas; (2) a conceção geral do “impacto” como os resultados da investigação científica sobre a qualidade de vida e bem-estar das populações; (3) a existência de perceções negativas quanto à forma como os critérios de medição do “impacto” são construídos por agências de avaliação e financiamento, isto é, assentes numa crescente estandardização, com consequências particulares quando aplicada às ciências sociais. Perante um contexto de intensificação das metodologias de avaliação, elucidamos sobre a pertinência que adquirem os processos participativos nos modos de gestão e planeamento da ciência, particularmente no contexto da definição e/ou implementação de modelos de avaliação baseados na aferição de indicadores de “impacto” “das” e “nas” áreas científicas, bem como no contexto das representações e significações atribuídas pelos diferentes atores ao significado e à avaliação do “impacto” em ciências sociais e em sociologia.

The dissertation aims to clarify and contribute to understand the meaning of “impact” on the context of the recent scientific evaluation policy trends in Portugal. Consequently, the ways to do scientific research have been shifting, depending on the changes in scientific and technological systems. In the specific field of evaluation, the general tendency is to improve the methodologies of science, by setting indicators to measure the various dimensions of scientific work and assess their “impact”. However, despite the number and range of indicators proposed, the definition of “impact” is a difficult task, not only because reality is not perfectly translatable into something tangible, but also because there are significant differences in the way different scientific areas produce, disseminate and apply knowledge. In this thesis we focus on the discourses and representations of institutions and policy makers, namely rectors and administration teams of centers and laboratories, as well as researchers. In addition to the collection and analysis of several documents with an institutional nature, the study involved the contact with these actors through interviews and online surveys, asking them the meaning they attach to one of the most central words in funding and evaluation programs, which is “impact”. The information was then analyzed through the content analysis technique, and it was possible to confirm some of the hypotheses drawn, namely on: (1) the ambiguity of the term “impact”, present in the discourse of several institutions and actors with different positions in the scientific system and of diverse scientific areas; (2) the general conception of “impact” as the results of scientific research on the quality of life and well-being of populations; (3) the existence of negative perceptions as to how the “impact” measurement criteria are built by assessment and funding agencies, that is, based on a growing standardization, with particular consequences especially when applied to the social sciences. In this context of intense evaluation methodologies, we elucidate about the relevance of participatory processes in the management and planning of science, particularly in the context of the definition and/or implementation of evaluation models based on the measurement of “impact” “of” and “in” scientific areas, as well as in the context of the representations and meanings attributed by different actors to the meaning and evaluation of “impact” in the social sciences and in sociology.