Fator de Impacto na publicação científica

Estudo analisa 39 medidas de impacto científico e relativiza a importância do fator de impacto
Escrito por: BIREME/OPAS/OMS
27.07.2009 14:21:30 h
Atualizado por: BIREME/OPAS/OMS
31.07.2009 14:49:24 h

O artigo “A principal component analysis of 39 scientific impact measures” [Um componente principal de análise de 39 medidas de impacto] publicado no repositório da Universidade de Cornell, nos EUA, apresenta um estudo comparativo de 39 medidas de impacto com base em medidas de citação e de relatórios de acesso (usage log data). Os resultados indicam que a noção do impacto científico é um fator multidimensional e que não pode ser adequadamente medido por nenhum indicador isoladamente, apesar de alguns serem mais propensos do que outros. O conhecido fator de impacto (FI) encontra-se posicionado na periferia desta construção multidimensional e não no centro, como seria esperado e, portanto, deve ser usado com prudência. Este alerta é especialmente importante considerando a preferência que tem o FI em algumas políticas de avaliação de produção científica.

Hoje em dia são poucos os cientistas que podem pesquisar livremente em prol da curiosidade natural ou do bem da ciência. A maioria está presa em uma teia de políticas, regras, números e índices, na qual o desempenho das pesquisas tendem a ser reduzidos a um ou mais indicadores: citações por artigo, FI, índice h e outros indicadores de citação. Esta atitude reducionista em relação à pesquisa tem caracterizado um ambiente acadêmico extremamente competitivo, mas talvez inevitável, devido à necessidade de contar com indicadores capazes de avaliar a produção científica de um pesquisador, ou de uma instituição, uma vez que não é possível prescindir do processo de avaliação em nenhuma etapa da atividade acadêmica e científica.

As citações que um artigo recebe são capazes de aferir em que extensão este trabalho contribuiu para o conhecimento e exerceu influência sobre outros pesquisadores. Assim sendo, o impacto de um artigo é expresso em função das citações recebidas, independente do método usado para calculá-lo. Medidas quantitativas de impacto científico de uma publicação, portanto, utilizam frequentemente dados de citação.

O FI de um periódico é o mais utilizado dentre os índices de medida de citações, que é publicado por intermédio do produto Journal Citation Reports publicado anualmente pela empresa Thomson Reuters. O FI de um periódico é o número médio de citações recebidas no ano considerado pelos artigos publicados nos dois anos anteriores. O FI é interpretado como um indicador da qualidade dos artigos publicados por aquele periódico, porém, sabe-se que inúmeros fatores, entre eles a área de concentração dos periódicos, o tipo de publicação (editorial, comunicação, artigo original, artigo de revisão, origem geográfico dos autores, etc.), autocitações e vários outros influenciam o FI. De fato, há várias restrições, quanto à acuidade do FI em aferir a qualidade de um artigo em particular a partir das citações recebidas por todos os textos publicados pelo periódico. O editorial do número do periódico PNAS de 28 de abril, assinado por Alan Fersht, é contundente na crítica ao uso do FI para avaliar cientistas ao afirmar que o terrível legado do FI é que ele tem sido usado mais para avaliar cientistas do que periódicos, o que tem se tornado uma preocupação crescente para muitas pessoas da área. “Julgamento de indivíduos, é claro, é mais bem feito por analises profundas de acadêmicos especialistas na área temática.Mas alguns burocratas querem uma simples métrica”, afirma.

As demandas para a superação das limitações do FI levaram à introdução de outras medidas de impacto de publicações científicas. Foram propostas modificações do FI cobrindo períodos de tempo mais extensos (FI de cinco anos) ou mais curtos (índice de imediatez, que para um determinado ano é o número médio de citações recebidas pelos artigos publicados no ano referido. O índice h foi criado por Jorge E. Hirsh para medir a produção científica e impacto de um cientista, de acordo com a distribuição de citações que seus artigos recebem. Foi estendido para periódicos por Tibor Braun. Em 2006, Leo Egghe propôs o índice g, como uma modificação do índice h.

Ademais, o sucesso do método Google de classificar páginas da web (as páginas mais acessadas são apresentadas em primeiro lugar em uma pesquisa) serviu de modelo para várias medidas de impacto de periódicos que utilizam análise de redes sociais para medir redes de citação. G. Pinsky, em 1976, foi quem primeiro propôs de classificar periódicos de acordo com sua centralidade autovetor em uma rede de citações. Bollen e Dellavalle em 2007 propuseram classificar periódicos de acordo com o método citation page rank, seguido do lançamento do eigenfactor.org, que começou a publicar classificações por page rank em 2006. O grupo Scimago, que publica o índice Scimago Journal Rank (SJR), que classifica periódicos baseado num princípio similar aquele usado para calcular citação por page rank.

Sendo que a literatura científica é atualmente publicada e acessada online, um grande número de iniciativas tem tentado medir impacto científico através de relatórios de acesso ou usage log data. Os portais dos publishers e serviços de bibliotecas institucionais atualmente registram utilização numa escala que excede o numero total de citações disponíveis. Os dados de utilização assim obtidos permitem observar atividade científica imediatamente após a publicação, ao invés de esperar por citações que virão de novas publicações e da inclusão destas em bases como JCR, um processo que pode levar vários anos.

Shepherd e Bollen propõem medida de impacto baseado em uso, que consiste na média de taxas de acesso dos artigos publicados por um periódico, similar ao FI baseado em citações. Muitos autores têm proposto medidas similares baseadas em estatísticas de utilização. Paralelamente ao desenvolvimento de medidas de rede social aplicadas a redes de citação, Bollen demonstra a viabilidade de uma variedade de métricas de redes sociais calculadas com base em redes de utilização extraídas do fluxo de informação contido no usage log data.

Estes desenvolvimentos levaram a uma miríade de novas medidas de impacto científico que podem ser derivados de citação e dados de utilização ou baseiam-se em distribuições estatísticas e análises sofisticadas de redes sociais. Entretanto, qual destas medidas é mais adequada à quantificação do impacto científico?

Esta questão é de difícil resposta por dois motivos: primeiro, medidas de impacto podem ser calculadas para vários conjuntos de dados de citação e uso e é, portanto, difícil distinguir a verdadeira característica de uma medida das peculiaridades do conjunto de dados a partir do qual ele foi calculado. Segundo, não dispomos de uma medida de impacto universalmente aceita para calibrar cada novo índice que surge.

De fato, não dispomos sequer de uma definição da noção de “impacto científico”, a menos que revertemos para a definição de número de citações recebidas por uma publicação. Tal como muitos conceitos abstratos, “impacto científico” pode ser compreendido e medido em muitas e diversas formas. A questão é qual medida de impacto melhor expressa seus vários aspectos e interpretações.

Após comparar 39 medidas de impacto científico, sendo 23 delas baseadas em citação e 16 em uso, os autores do estudo chegaram às seguintes conclusões:

Primeiro, o conjunto de medidas de uso é mais significativo estatisticamente falando do que o conjunto de medidas de citação. Isto indica uma maior confiabilidade de medidas de uso calculadas a partir de relatórios de acesso (usage log data) do que medidas de citação calculadas a partir de dados de citação.

Segundo, medidas baseadas em uso são indicadores muito mais fortes de prestígio científico do que medidas baseados em citações. Contrariamente às expectativas, o FI bem como o SJR melhor expressam popularidade científica.

Terceiro, algumas medidas de citação estão mais correlacionadas às suas contrapartidas de uso do que a outras medidas de citação como o FI.

Isso indica, ao contrário do que seria esperado, que medidas de impacto baseadas em uso podem estar mais próximas a um ”ranking de consenso” de periódicos do que medidas comuns de citação.

Quarto, quando ranqueamos as medidas de impacto de acordo com sua média de correlação em relação à todas as outras medidas, isto é, quão próximas elas estão em relação à todas as outras medidas, encontraremos FI e SJR nas posições 34º e 38º entre 39 medidas, indicando sua posição isolada entre as medidas de impacto e uso estudadas. O índice de imediatez de citação do JCR e o número de citações Scimago por documento estão em posições similares.

Estes resultados devem nos fazer repensar o FI e SJR como o padrão dourado das medidas de impacto científico. Os resultados aqui apresentados indicam que métrica baseada em medidas de uso e não de citação como tem sido mais comum, pode representar uma melhor medida de consenso.