Efeito tamanho nas estimativas

Eis um problema comum nas pesquisas acadêmicas, de difícil solução (trechos selecionados)

(...) Se coletarmos dados suficientes, a estimativa será próxima ao valor real na população. No entanto, se coletarmos dados de participantes que estão em um brinquedo de parque temático onde as pessoas precisam ter pelo menos 150 centímetros de altura para entrar, a média que calculamos é baseada em uma distribuição truncada onde apenas indivíduos mais altos que 150 cm são incluídos. Indivíduos menores estão ausentes. Imagine que medimos a altura de dois indivíduos no brinquedo do parque temático, e eles têm 164 e 184 cm de altura. A altura média deles é (164+184)/2 = 174 cm. Fora da entrada do brinquedo do parque temático, há um indivíduo com 144 cm de altura. Se tivéssemos medido esse indivíduo também, nossa estimativa do comprimento médio seria (144+164+184)/3 = 164 cm. Remover valores baixos de uma distribuição levará a uma superestimação do valor real. Remover valores altos levaria a uma subestimação do valor real. (...)

Na prática, frequentemente vemos que os cientistas não publicam simplesmente todos os resultados, mas apenas os resultados estatisticamente significativos na direção desejada. (...)

Os estatísticos desenvolveram abordagens para ajustar estimativas de tamanho de efeito enviesadas levando em consideração uma distribuição truncada (Taylor & Muller, 1996). Esta abordagem foi recentemente implementada em R (Anderson et al., 2017). Implementar essa abordagem na prática é difícil, porque nunca temos certeza se uma estimativa de tamanho de efeito está enviesada e, se estiver enviesada, quanto é o enviesamento. Além disso, a seleção baseada na significância é apenas uma forma de viés, enquanto pesquisadores que relatam seletivamente resultados significativos podem se envolver em práticas de pesquisa problemáticas adicionais, como relatar seletivamente resultados, que não são considerados no ajuste. (...)

É claro que a verdadeira solução para o viés nas estimativas de tamanho de efeito devido a filtros de significância que levam a distribuições truncadas ou censuradas é parar de relatar seletivamente resultados. Projetar estudos altamente informativos que tenham alta capacidade de rejeitar a hipótese nula, como o menor tamanho de efeito de interesse em um teste de equivalência, é um bom ponto de partida. Publicar pesquisas como Relatórios Registrados é ainda melhor. Eventualmente, se não resolvermos esse problema por conta própria, é provável que enfrentemos ações regulatórias externas que nos forcem a incluir todos os estudos que receberam aprovação do comitê de ética em um registro público e atualizar o registro com a estimativa do tamanho do efeito, como é feito para ensaios clínicos. (...) 

Uma das consequências é que estudos de meta-análise serão enviesados.