Mechanical Turk e o problema do p-hacking

Na postagem sobre p-hacking e o viés da publicação, onde mostramos uma pesquisa que verificou se procedimentos de registro de análise prévia poderia resolver este problema, a boa notícia é que um dos procedimentos, o PAP, pode ser uma possível resposta para a questão. Lembrando que p-hacking é a tendência a forçar um resultado que torna a pesquisa com mais chance de ser publicada ou de ser citada. E o viés da publicação é o fato de que editores e pareceristas de periódicos terem uma preferência prévia por certos resultados, afetando a decisão de aceite de um artigo. 

Em um exemplo, é mais "publicável" um estudo que afirma que um alimento pode ajudar a reduzir uma doença do que outra pesquisa que diz não existir nenhuma relação. A nossa postagem mostrou que fazendo fazendo um registro prévio das hipóteses e da forma como a questão será abordada na pesquisa pode ajudar a resolver o p-hacking e o viés da publicação. 

Três dos quatro autores do estudo que descrevemos na postagem analisaram também o Mechanical Turk. Para quem não conhece, é uma ferramenta de propriedade da Amazon que tem sido muita usada em pesquisas em diversas áreas. Sua grande vantagem é permitir que uma pesquisa seja realizada com um universo de respondentes demograficamente mais diverso, sendo possível obter grandes amostras com baixo custo. 

Analisando os estudos publicados entre 2010 e 2020, os autores constataram que a amostra dos estudos é relativamente baixa (média de 249 respondentes). Em uma das notas de rodapé da pesquisa há um caso interessante de um estudo realizado em 2013 em que cinco anos depois o líder não se lembrava de nada do experimento com 956 participantes. Isto seria um sinal de que o MTurk apresenta um baixo custo de oportunidade: se a pesquisa tivesse sido presencial, você iria lembrar de algo, já que seu custo de aplicação é elevado. 

O resultado final é que pesquisas que usam o MTurk possuem p-hacking, viés de publicação e confiança excessiva nos resultados. O próprio comportamento da comunidade de responde pode afetar o resultado. 

Eis o abstract:

Amazon Mechanical Turk is a very widely-used tool in business and economics research, but how trustworthy are results from well-published studies that use it? Analyzing the universe of hypotheses tested on the platform and published in leading journals between 2010 and 2020 we find evidence of widespread p-hacking, publication bias and over-reliance on results from plausibly under-powered studies. Even ignoring questions arising from the characteristics and behaviors of study recruits, the conduct of the research community itself erode substantially the credibility of these studies’ conclusions. The extent of the problems vary across the business, economics, management and marketing research fields (with marketing especially afflicted). The problems are not getting better over time and are much more prevalent than in a comparison set of non-online experiments. We explore correlates of increased credibility

Eis um gráfico que diz tudo sobre o MTurk:

Esta é a curva dos resultados da estatística Z. A curva deveria está em formato decrescente - caso as pesquisas não tivessem problemas. 

(Uma curiosidade: o MTurk tem este nome em homenagem da Edgar Allan Poe. Na sua época, apareceu uma máquina que jogava xadrez, um robô, representado por um turco. Poe é do século XIX, então esta máquina era um truque. O escritor relata como a "maquina" funcionava)