Métricas de avaliação em pesquisa

A newsletter do Zeppelini Editorial, de 8 de fevereiro, trouxe uma discussão importante sobre métricas de impacto em artigos científicos. Eis o texto a seguir: 

Métricas de impacto na avaliação de artigos científicos, um processo a ser repensado

Avaliar pesquisas científicas é uma prática essencial para garantir a qualidade e a relevância dos avanços no conhecimento humano. No entanto, a maneira como este processo é conduzido tem sido objeto de intenso debate na comunidade acadêmica. Entretanto, as [métricas] desempenham um papel significativo, mas nem sempre positivo, no processo de avaliação de pesquisas.

O fator de impacto, uma das métricas mais amplamente utilizadas, foi originalmente concebido para avaliar a importância relativa dos periódicos científicos com base no número médio de citações que seus artigos recebem.

Porém, ao longo do tempo, o fator de impacto tornou-se um indicador de prestígio e status, influenciando não apenas o comportamento dos pesquisadores, mas também as políticas editoriais e as decisões de financiamento das pesquisas.

Um dos principais problemas associados ao uso desta ferramenta na avaliação das pesquisas é sua tendência em favorecer determinadas áreas do conhecimento em detrimento de outras. Ele é calculado com base no número de citações recebidas por uma revista em um determinado período, e as áreas que tradicionalmente geram mais publicações e citações tendem a ser beneficiadas, enquanto campos emergentes ou menos populares são marginalizados.

Além disso, o fator de impacto muitas vezes não leva em consideração a qualidade intrínseca dos artigos publicados em uma revista. Um artigo altamente citado não necessariamente indica que ele é de alta qualidade ou relevante para a comunidade científica. Isso levanta preocupações sobre a validade do fator de impacto como um indicador confiável da excelência da pesquisa.

Outro efeito prejudicial é a existência de pressão sobre os pesquisadores para publicar em revistas com alto fator de impacto. Esta “cultura” pode levar a uma homogeneização da pesquisa, com os autores preferindo temas e abordagens mais propensos a atrair citações, em vez de seguir suas próprias intuições científicas.

As métricas de impacto também têm sido criticadas por sua influência sobre o financiamento das pesquisas. Agências de fomento e instituições acadêmicas frequentemente usam este aspecto como um dos critérios para distribuir recursos, o que pode levar a uma alocação desigual de financiamento e reforçar as disparidades existentes entre diferentes áreas do conhecimento.

Diante desses desafios, é essencial explorar opções mais abrangentes e justas para medir a qualidade e a relevância dos artigos científicos. Uma abordagem promissora é a adoção de métricas alternativas, a exemplo do Altmetrics, que levam em consideração uma gama mais ampla de indicadores, incluindo menções em mídias sociais, downloads e visualizações online, entre outros.

É ainda fundamental promover uma cultura de avaliação mais qualitativa, que considere não somente o número de citações, mas também a originalidade, o rigor metodológico e o impacto social e prático da pesquisa. Contudo, tamanha transformação requer uma mudança na mentalidade de autores, editores e publishers e das instituições acadêmicas e agências de fomento.

Uma alternativa interessante é o movimento em direção ao acesso aberto e à transparência na comunicação científica. Ao tornar os resultados livremente disponíveis para todos, ampliam-se o alcance e o impacto da pesquisa, permitindo que ela seja avaliada com base em critérios mais amplos e democráticos. (...)

Foto: Detroit evening times., September 23, 1945.