Uma solução para a crise de replicação?

Butera e List propuseram uma abordagem diferente para tentar contornar a crise de replicabilidade existente em ciências sociais. Muitas pesquisas que são divulgadas não são replicadas, o que impede de verificar se o método estava correto, se a amostra não era enviesada, se os pesquisadores não cometeram erros ou manipularam os resultados ou fizeram realmente a pesquisa, entre outros problemas. O assunto tem sido discutido extensamente e para que se interessar tem um site que apresenta algumas considerações interessantes: Replication Index. Outro endereço interessante, que aponta pesquisas que tiveram que se retratar é este aqui.

Os autores citados fizeram uma pesquisa e descobriram que aumentando a incerteza tem-se um aumento na cooperação entre as pessoas. Uma conclusão interessante. Mas em lugar de encaminhar o artigo para um periódico, com revisão por pares, Butera e List colocaram os dados online e fizeram uma promessa de não submeter para publicação. Em lugar disto, ofereceram co-autoria para algum interessado que replicasse o estudo. Neste segundo artigo, aí sim, seria submetido a um periódico.

Vide: Butera, L., & List, J. A. (2017). An economic approach to alleviate the crises of confidence in science: With an application to the public goods game (No. w23335). National Bureau of Economic Research.

Reprodutibilidade e Replicabilidade

Há uma diferença sutil entre reprodutibilidade e replicabilidade na ciência, segundo Leek:

Reprodutibilidade = tomar os dados de uma publicação anterior, reve-los e obter os mesmos resultados.
Replicabilidade = executar um experimento e obter resultados "consistentes" com o estudo original usando novos dados.

Eis um exemplo. Uma pesquisa testou a relação entre tamanho do ativo e margem líquida para as empresas abertas no ano de 2014. A reprodutibilidade significa pegar as mesmas empresas, os mesmos valores e recalcular os testes estatísticos. Já a replicabilidade é usar as técnicas do texto original e verificar se o mesmo se aplica aos resultados de 2017.

Segundo Leek, os resultados que não são reprodutíveis são difíceis de verificar e os resultados que não se replicam em novos estudos são mais difíceis de confiar. Mas uma boa ciência se faz com ambos. Para isto, o pesquisador deve guardar os resultados e disponibilizar quando necessário.

Um estudo de alguns anos atrás mostra a importância disto. Dois pesquisadores econômicos conhecidos cometeram um erro ao calcular a média em uma planilha Excel. A fórmula usada não contemplava todos os países. o estudo apontava uma média na taxa de crescimento de diversos países de -0,1% e o valor correto era de 2,2%. O erro só foi descoberto graças a reprodutibilidade.

Os problemas com a reprodutibilidade e a reprodutividade ocorrem, segundo Leek, por falta de treinamento em estatística e computação por parte dos cientistas, aos incentivos financeiros para publicar resultados desejáveis, os incentivos dos periódicos para publicar resultados inovadores, as limitações estatísticas dos estudos (tamanho da amostra, por exemplo), a não consideração de alternativas nas explicações para os resultados, entre outros aspectos. Como parecerista de artigos em periódicos tenho notado um descuido com ambas as questões; muitos textos preferem falar da classificação da pesquisa, do que esclarecer como a pesquisa foi feita.

Há um outro aspecto: o desprezo com a ética por parte de alguns pesquisadores. Tenho notado isso ao longo da vida acadêmica e isto inclui desde usar o “CRTL C CRTL V” até a tentativa de torturar os dados. Quem não segue este padrão é taxado de “preciosista” pelos colegas.

Links

Índice para medir a replicação de uma pesquisa científica

Trocar senhas periodicamente é inseguro

A história das senhas (inclui "abra-te sésamo)

Amar ganhar ou detestar perder

Propaganda: Happy by Cesar

Transparência dos algoritmos resolve?