Erros Comuns na Pesquisa

Eis alguns erros comuns quando se faz uma pesquisa, adaptado daqui:

Cherry Picking (Evidência Suprimida) - A tendência das pessoas em destacarem somente os dados que respaldam o que querem provar. Ocorre muito na política e nos debates públicos. Pode ser proposital ou não. 

Efeito cobra - O império Britânico queria reduzir as mortes por cobra na Índia e ofereceram um incentivo financeiro para cada pele de cobra trazida, para motivar a caça à cobra. As pessoas começaram a criar cobra. Neste caso, um incentivo para resolver um problema criou consequências negativas.

 P-Hacking (ou Data Dredging) - Testes estatísticos depende da definição prévia da hipótese. Caso contrário, haveria uma "drenagem" dos dados e mudança no que está sendo testado. Para reduzir este efeito, é importante registrar antecipadamente o que está sendo testado.

Causalidade Falsa (ou correlação espúria) - No gráfico, enquanto a temperatura na terra aumentou nos últimos anos, o número de piratas diminuiu. Isto não significa dizer que a redução dos piratas aumentou o aquecimento global. A existência de correlação não significa relação de causa-efeito. 

 Gerrymandering - A origem do termo é manipular os distritos políticos para permitir a vitória de um partido. Na figura, na parte de cima, a simples contagem mostra a vitória das pretas; mas ao dividir os "votos" em "distritos", as verdes vencem, mesmo não tendo maioria dos votos. Na análise dos dados, algumas escolhas podem afetar a conclusão, assim como a escala usada.

Sobre ajuste (overfitting) - Ao analisar os dados é possível obter um modelo que faça a descrição matemática. Mas um modelo muito complexo pode ajustar melhor os dados, mas são mais frágeis, pois funcionam bem com os dados usados para construir o modelo, que pode estar explicando variações aleatórias. Modelos mais simples são mais robustos e melhores para previsão. 

Viés da publicação - Geralmente o estudo com resultados significantes é mais interessante de ler e mais provável de ser publicado. Quando um milionário afirma o que ele fez para vencer na vida, "esquecemos" de pessoas que fizeram as mesmas coisas, mas fracassaram. 

Reversão à média - Ocorre quando o acaso pode desempenhar um papel importante no resultado. Um jogador de futebol de baixa habilidade que marcou três gols em uma partida poderá voltar ao seu desempenho normal no próximo jogo. Um fundo de investimento que apostou certo, pode reverter a média no próximo ano.

Viés de amostragem - quando as pessoas que participam de uma pesquisa não representam a população. Na figura, uma pesquisa com uma pessoa que está passeando com um cão pergunta se gosta de cão ou gato. Fazer uma pesquisa pela internet irá excluir as pessoas sem acesso a rede. Pesquisar a opinião de eleitores em um reduto conservador irá trazer um viés no resultado da pesquisa. 

Paradoxo de Simpson - Uma tendência que existe em um grupo de dados pode desaparecer ou inverter quando os grupos são combinados. Na década de 70 a Universidade de Berkeley foi acusada de sexismo na seleção dos alunos. Mas ao analisar a questão descobriu que a taxa de aceitação das mulheres era maior; isto ocorreu pela diferença na escolha do curso que homem/mulher fazia. 

Viés de sobrevivência - é importante saber quais os dados que não estão disponíveis. O desenho acima é um exemplo clássico que ocorreu na segunda guerra mundial. Foi solicitado aos engenheiros reforçar a fuselagem dos aviões. Olhando os aviões que voltavam das batalhas aéreas a escolha era fácil. Mas o correto é reforçar onde não tinha marca de bala - motor e cockpit - pois os aviões que foram atingidos nestes locais não voltaram.