Uma possível solução para o p-hacking e o viés da publicação

Um dos problemas da pesquisa científica publicada é a existência do p-hacking, ou seja, a manipulação e/ou a seleção de resultados com determinados valores estatísticos. Como o pesquisador sabe que certos resultados podem aumentar a chance de publicação da sua pesquisa, há uma escolha ou uma tentativa de forçar certos resultados.

Suponha uma pesquisa sobre a relação entre o anúncio de resultados contábeis afetando o preço das ações. E considere também que os resultados serão mais aceitos caso tenha a comprovação da relação. Haverá uma tendência do pesquisador em forçar a apresentação dos resultados. Para o periódico, a publicação de uma pesquisa com esta relação será mais interessante, pois pode aumentar o número de pessoas que irá ler o trabalho e o número de outros pesquisadores que irão citá-lo. Isto é o p-hacking e sua consequência é um viés de publicação dos resultados. 

Um forma de resolver este problema é exigir um registro prévio do método a ser empregado, antes de iniciar a pesquisa. Isto irá garantir que não exista mudança na técnica estatística usada, que é algo comum quando o pesquisador deseja encontrar certo resultado. Uma forma mais rigorosa ainda é garantir que hipótese será testada e como isto irá ocorrer; Isso deve ser feito antes da pesquisa começar e é chamada de análise prévia ou PAP em inglês. 

Como o p-hacking passou a ser discutido nas ciências, ambas as soluções (registro prévio e análise prévia do planejamento) tornaram-se desejáveis. 

O gráfico mostra que o registro prévio nos periódicos de economia estão crescendo substancialmente. E entre os periódicos mais relevantes isto parece ser uma regra básica. Os outros periódicos estão acompanhando a onda. 

Mas será que isto funciona? Já foram desenvolvidos testes para verificar a existência de p-hacking e do viés da publicação que ocorre. Agora, quatro pesquisadores analisaram quase 16 mil estudos, com ensaios aleatórios controlados (RCT em inglês) e se isto reduziu os dois problemas. 
 

Como o pré-registro e o PAP são procedimentos distintos, a pesquisa analisou ambos. O gráfico acima mostra a distribuição dos testes estatísticos para a primeira situação, ou seja, do pré-registro. Na verdade, o gráfico da esquerda é a pesquisa sem pré-registro e o gráfico da direito é com o pré-registro. Se você achou que os gráficos parecem iguais, sua impressão é correta. Será que isto muda com um maior rigor, ou seja, com o PAP? O resultado está abaixo:

Os dois gráficos podem parecer idênticos, mas quando os autores analisaram os testes para verificar a presença de p-hacking o resultado mostrou que são estatisticamente diferentes. 

Eis o resumo do artigo:

Randomized controlled trials (RCTs) are increasingly prominent in economics, with preregistration and pre-analysis plans (PAPs) promoted as important in ensuring the credibility of findings. We investigate whether these tools reduce the extent of p-hacking and publication bias by collecting and studying the universe of test statistics, 15,992 in total, from RCTs published in 15 leading economics journals from 2018 through 2021. In our primary analysis, we find no meaningful difference in the distribution of test statistics from pre-registered studies, compared to their non-pre-registered counterparts. However, preregisterd studies that have a complete PAP are significantly less p-hacked. This results point to the importance of PAPs, rather than pre-registration in itself, in ensuring credibility