Fator de Impacto na publicação científica

Estudo analisa 39 medidas de impacto científico e relativiza a importância do fator de impacto
Escrito por: BIREME/OPAS/OMS
27.07.2009 14:21:30 h
Atualizado por: BIREME/OPAS/OMS
31.07.2009 14:49:24 h

O artigo “A principal component analysis of 39 scientific impact measures” [Um componente principal de análise de 39 medidas de impacto] publicado no repositório da Universidade de Cornell, nos EUA, apresenta um estudo comparativo de 39 medidas de impacto com base em medidas de citação e de relatórios de acesso (usage log data). Os resultados indicam que a noção do impacto científico é um fator multidimensional e que não pode ser adequadamente medido por nenhum indicador isoladamente, apesar de alguns serem mais propensos do que outros. O conhecido fator de impacto (FI) encontra-se posicionado na periferia desta construção multidimensional e não no centro, como seria esperado e, portanto, deve ser usado com prudência. Este alerta é especialmente importante considerando a preferência que tem o FI em algumas políticas de avaliação de produção científica.

Hoje em dia são poucos os cientistas que podem pesquisar livremente em prol da curiosidade natural ou do bem da ciência. A maioria está presa em uma teia de políticas, regras, números e índices, na qual o desempenho das pesquisas tendem a ser reduzidos a um ou mais indicadores: citações por artigo, FI, índice h e outros indicadores de citação. Esta atitude reducionista em relação à pesquisa tem caracterizado um ambiente acadêmico extremamente competitivo, mas talvez inevitável, devido à necessidade de contar com indicadores capazes de avaliar a produção científica de um pesquisador, ou de uma instituição, uma vez que não é possível prescindir do processo de avaliação em nenhuma etapa da atividade acadêmica e científica.

As citações que um artigo recebe são capazes de aferir em que extensão este trabalho contribuiu para o conhecimento e exerceu influência sobre outros pesquisadores. Assim sendo, o impacto de um artigo é expresso em função das citações recebidas, independente do método usado para calculá-lo. Medidas quantitativas de impacto científico de uma publicação, portanto, utilizam frequentemente dados de citação.

O FI de um periódico é o mais utilizado dentre os índices de medida de citações, que é publicado por intermédio do produto Journal Citation Reports publicado anualmente pela empresa Thomson Reuters. O FI de um periódico é o número médio de citações recebidas no ano considerado pelos artigos publicados nos dois anos anteriores. O FI é interpretado como um indicador da qualidade dos artigos publicados por aquele periódico, porém, sabe-se que inúmeros fatores, entre eles a área de concentração dos periódicos, o tipo de publicação (editorial, comunicação, artigo original, artigo de revisão, origem geográfico dos autores, etc.), autocitações e vários outros influenciam o FI. De fato, há várias restrições, quanto à acuidade do FI em aferir a qualidade de um artigo em particular a partir das citações recebidas por todos os textos publicados pelo periódico. O editorial do número do periódico PNAS de 28 de abril, assinado por Alan Fersht, é contundente na crítica ao uso do FI para avaliar cientistas ao afirmar que o terrível legado do FI é que ele tem sido usado mais para avaliar cientistas do que periódicos, o que tem se tornado uma preocupação crescente para muitas pessoas da área. “Julgamento de indivíduos, é claro, é mais bem feito por analises profundas de acadêmicos especialistas na área temática.Mas alguns burocratas querem uma simples métrica”, afirma.

As demandas para a superação das limitações do FI levaram à introdução de outras medidas de impacto de publicações científicas. Foram propostas modificações do FI cobrindo períodos de tempo mais extensos (FI de cinco anos) ou mais curtos (índice de imediatez, que para um determinado ano é o número médio de citações recebidas pelos artigos publicados no ano referido. O índice h foi criado por Jorge E. Hirsh para medir a produção científica e impacto de um cientista, de acordo com a distribuição de citações que seus artigos recebem. Foi estendido para periódicos por Tibor Braun. Em 2006, Leo Egghe propôs o índice g, como uma modificação do índice h.

Ademais, o sucesso do método Google de classificar páginas da web (as páginas mais acessadas são apresentadas em primeiro lugar em uma pesquisa) serviu de modelo para várias medidas de impacto de periódicos que utilizam análise de redes sociais para medir redes de citação. G. Pinsky, em 1976, foi quem primeiro propôs de classificar periódicos de acordo com sua centralidade autovetor em uma rede de citações. Bollen e Dellavalle em 2007 propuseram classificar periódicos de acordo com o método citation page rank, seguido do lançamento do eigenfactor.org, que começou a publicar classificações por page rank em 2006. O grupo Scimago, que publica o índice Scimago Journal Rank (SJR), que classifica periódicos baseado num princípio similar aquele usado para calcular citação por page rank.

Sendo que a literatura científica é atualmente publicada e acessada online, um grande número de iniciativas tem tentado medir impacto científico através de relatórios de acesso ou usage log data. Os portais dos publishers e serviços de bibliotecas institucionais atualmente registram utilização numa escala que excede o numero total de citações disponíveis. Os dados de utilização assim obtidos permitem observar atividade científica imediatamente após a publicação, ao invés de esperar por citações que virão de novas publicações e da inclusão destas em bases como JCR, um processo que pode levar vários anos.

Shepherd e Bollen propõem medida de impacto baseado em uso, que consiste na média de taxas de acesso dos artigos publicados por um periódico, similar ao FI baseado em citações. Muitos autores têm proposto medidas similares baseadas em estatísticas de utilização. Paralelamente ao desenvolvimento de medidas de rede social aplicadas a redes de citação, Bollen demonstra a viabilidade de uma variedade de métricas de redes sociais calculadas com base em redes de utilização extraídas do fluxo de informação contido no usage log data.

Estes desenvolvimentos levaram a uma miríade de novas medidas de impacto científico que podem ser derivados de citação e dados de utilização ou baseiam-se em distribuições estatísticas e análises sofisticadas de redes sociais. Entretanto, qual destas medidas é mais adequada à quantificação do impacto científico?

Esta questão é de difícil resposta por dois motivos: primeiro, medidas de impacto podem ser calculadas para vários conjuntos de dados de citação e uso e é, portanto, difícil distinguir a verdadeira característica de uma medida das peculiaridades do conjunto de dados a partir do qual ele foi calculado. Segundo, não dispomos de uma medida de impacto universalmente aceita para calibrar cada novo índice que surge.

De fato, não dispomos sequer de uma definição da noção de “impacto científico”, a menos que revertemos para a definição de número de citações recebidas por uma publicação. Tal como muitos conceitos abstratos, “impacto científico” pode ser compreendido e medido em muitas e diversas formas. A questão é qual medida de impacto melhor expressa seus vários aspectos e interpretações.

Após comparar 39 medidas de impacto científico, sendo 23 delas baseadas em citação e 16 em uso, os autores do estudo chegaram às seguintes conclusões:

Primeiro, o conjunto de medidas de uso é mais significativo estatisticamente falando do que o conjunto de medidas de citação. Isto indica uma maior confiabilidade de medidas de uso calculadas a partir de relatórios de acesso (usage log data) do que medidas de citação calculadas a partir de dados de citação.

Segundo, medidas baseadas em uso são indicadores muito mais fortes de prestígio científico do que medidas baseados em citações. Contrariamente às expectativas, o FI bem como o SJR melhor expressam popularidade científica.

Terceiro, algumas medidas de citação estão mais correlacionadas às suas contrapartidas de uso do que a outras medidas de citação como o FI.

Isso indica, ao contrário do que seria esperado, que medidas de impacto baseadas em uso podem estar mais próximas a um ”ranking de consenso” de periódicos do que medidas comuns de citação.

Quarto, quando ranqueamos as medidas de impacto de acordo com sua média de correlação em relação à todas as outras medidas, isto é, quão próximas elas estão em relação à todas as outras medidas, encontraremos FI e SJR nas posições 34º e 38º entre 39 medidas, indicando sua posição isolada entre as medidas de impacto e uso estudadas. O índice de imediatez de citação do JCR e o número de citações Scimago por documento estão em posições similares.

Estes resultados devem nos fazer repensar o FI e SJR como o padrão dourado das medidas de impacto científico. Os resultados aqui apresentados indicam que métrica baseada em medidas de uso e não de citação como tem sido mais comum, pode representar uma melhor medida de consenso.

Links

Um índice para conhecer os bancos com problemas

Shiller no Financial Times: Em defesa da inovação financeira

Audioshow no New Yorker: Gangs do Rio de Janeiro

UEFA investiga jogos de futebol "armados"

Salários no baseball e nos bancos

Teste #148

Qual o número estimado de páginas do US GAAP?

3 mil páginas
10 mil páginas
100 mil páginas

Resposta do Anterior: Conforme reportagem do Valor Econômico (Empresas brasileiras somam R$ 1,4 trilhão em intangíveis, 21/9/2009) seria o Bradesco, com 51,3 bilhões.

Qualidade do gasto público

Lançado seis anos atrás com a meta de erradicar o analfabetismo no país, o programa Brasil Alfabetizado já consumiu mais de R$ 2 bilhões até este ano, mas o índice de brasileiros que não sabem ler nem escrever um bilhete simples caiu apenas 13% entre 2004 e 2008.

Segundo os números mais recentes do IBGE, ainda há mais de 14 milhões de jovens e adultos analfabetos -o equivalente a um a cada dez brasileiros com 15 anos ou mais.

"Não vou brigar com os números", reagiu André Lázaro, secretário de Educação Continuada, Alfabetização e Diversidade do Ministério da Educação: "A queda do analfabetismo não é proporcional ao nosso esforço", completou.

(...) Apesar dos resultados ralos até aqui -a taxa oficial de analfabetismo caiu de 11,45% para 9,96%-, o Ministério da Educação nega que o Brasil Alfabetizado tenha fracassado ou que possa ser suspenso. (...)

Gasto de R$ 2 bi reduz pouco o analfabetismo - 28/9/2009 - MARTA SALOMON - Folha de São Paulo

Observe como isto é coerente com o gráfico de uma postagem anterior: o País gasta muito em educação, mas com baixa qualidade.

Auditoria e FED

O Federal Reserve, o banco central dos Estados Unidos, estuda trabalhar com parlamentares norte-americanos em formas para divulgar nomes de companhias que tomam dinheiro emprestado junto à instituição. As informações seriam liberadas com um certo atraso para que não altere o comportamento dos mercados, segundo um representante do Fed.

Scott Alvarez, advogado-geral do Fed, disse ao Comitê de Serviços Financeiros da Câmara dos Deputados dos EUA que a ideia é “algo que estamos levando seriamente em consideração e na qual estamos felizes de trabalhar em conjunto”.

Em testemunho sobre a proposta de legislação que iria sujeitar o Fed, de novo dirigido por Ben Bernanke a auditorias realizadas pelo Escritório de Contabilidade do Governo (GAO, na sigla em inglês), Alvarez afirmou que permitir o acesso às decisões de política monetária do Fed iria minar a independência e a credibilidade do banco central.

Mas o advogado foi questionado pelo presidente do comitê, Barney Frank, se o Fed cooperaria em mudanças na legislação que forneceriam mais dados sobre companhias que acessam empréstimos suas linhas de crédito para as operações de mercado aberto.

– Acredito que é importante que exista um espaço de tempo antes da informação ser divulgada sobre quem compra o quê, e quem vai para onde, para que isso não se transforme em informação com a qual as pessoas operam no mercado – disse Frank.

– Eu diria, entretanto, que é diferente de divulgar após um tempo. Você não tem o direito de ir a uma agência federal, pegar dinheiro emprestado e manter isto em segredo para sempre, pois tratam-se de recursos públicos – concluiu Barney Frank.

Empréstimos do Fed sob auditoria - Jornal do Brasil - 27/9/2009

G 20 e Contabilidade

(...) El G-20 dedica apenas unas líneas en su comunicado a esta materia de importancia capital y lo que hace es requerir a los reguladores contables internaciones a que redoblen sus esfuerzos "para conseguir un solo grupo de alta calidad de estándares contables globales en el contexto de sus procesos independientes". Se espera que el proyecto de convergencia se complete en junio de 2011. Casi todos los miembros del Comité de Estabilidad Financiera tienen programas para converger o adoptar los estándares del Consejo de Estandarización Contable Internacional (IASB) en 2012 salvo EE UU que tiene puntos de vista distintos en cuestiones como contabilidad fuera de balance o los métodos para determinar el valor justo de activos.

La búsqueda de convergencia contable - Cinco Días. Madrid - 28/9/2009 - 035

Rir é o melhor remédio

Fonte: Aqui