Reprodutibilidade e Replicabilidade

Há uma diferença sutil entre reprodutibilidade e replicabilidade na ciência, segundo Leek:

Reprodutibilidade = tomar os dados de uma publicação anterior, reve-los e obter os mesmos resultados.
Replicabilidade = executar um experimento e obter resultados "consistentes" com o estudo original usando novos dados.

Eis um exemplo. Uma pesquisa testou a relação entre tamanho do ativo e margem líquida para as empresas abertas no ano de 2014. A reprodutibilidade significa pegar as mesmas empresas, os mesmos valores e recalcular os testes estatísticos. Já a replicabilidade é usar as técnicas do texto original e verificar se o mesmo se aplica aos resultados de 2017.

Segundo Leek, os resultados que não são reprodutíveis são difíceis de verificar e os resultados que não se replicam em novos estudos são mais difíceis de confiar. Mas uma boa ciência se faz com ambos. Para isto, o pesquisador deve guardar os resultados e disponibilizar quando necessário.

Um estudo de alguns anos atrás mostra a importância disto. Dois pesquisadores econômicos conhecidos cometeram um erro ao calcular a média em uma planilha Excel. A fórmula usada não contemplava todos os países. o estudo apontava uma média na taxa de crescimento de diversos países de -0,1% e o valor correto era de 2,2%. O erro só foi descoberto graças a reprodutibilidade.

Os problemas com a reprodutibilidade e a reprodutividade ocorrem, segundo Leek, por falta de treinamento em estatística e computação por parte dos cientistas, aos incentivos financeiros para publicar resultados desejáveis, os incentivos dos periódicos para publicar resultados inovadores, as limitações estatísticas dos estudos (tamanho da amostra, por exemplo), a não consideração de alternativas nas explicações para os resultados, entre outros aspectos. Como parecerista de artigos em periódicos tenho notado um descuido com ambas as questões; muitos textos preferem falar da classificação da pesquisa, do que esclarecer como a pesquisa foi feita.

Há um outro aspecto: o desprezo com a ética por parte de alguns pesquisadores. Tenho notado isso ao longo da vida acadêmica e isto inclui desde usar o “CRTL C CRTL V” até a tentativa de torturar os dados. Quem não segue este padrão é taxado de “preciosista” pelos colegas.