Análise de regressão engana até especialistas

Resumo:

Does the manner in which results are presented in empirical studies affect perceptions of the predictability of the outcomes? Noting the predominant role of linear regression analysis in empirical economics, we asked 257 academic economists to make probabilistic inferences based on different presentations of the outputs of this statistical tool. The questions concerned the distribution of the dependent variable, conditional on known values of the independent variable. The answers based on the presentation mode that is standard in the literature demonstrated an illusion of predictability; the outcomes were perceived to be more predictable than could be justified by the model. In particular, many respondents failed to take the error term into account. Adding graphs did not improve the inference. Paradoxically, the respondents were more accurate when onlygraphs were provided (i.e., no regression statistics). The implications of our study suggest, inter alia, the need to reconsider the way in which empirical results are presented, and the possible provision of easy-to-use simulation tools that would enable readers of empirical papers to make accurate inferences.

Fonte: The illusion of predictability: How regression statistics mislead experts - Emre Soyer,Robin M. Hogarth - International Journal of Forecasting-2012

Meu resumo (bem superficial):

A análise de regressão está interessada em verificar a relação entre variáveis dependentes (resultados de algum fenômeno) e variáveis independentes (possíveis causas). Assim, busca encontrar variáveis que tenham algum efeito significativo sobre os resultados. No entanto, ela olha apenas para efeitos médios, o que é insuficiente para realizar previsões probabilísticas, pois não há uma caracterização mais completa da relação entre variáveis dependentes e independentes.

O artigo acima mostra que a maioria dos professores e pesquisadores das melhores universidades do mundo da área de economia não sabem fazer previsões probabilísticas acuradas oriundas de analise de regressão. Como essa técnica está preocupada apenas com relações causais na média,  eles ignnoram a incerteza inerente da variável dependente, condicionada aos valores da variável independente. De maneira mais técnica, os pesquisadores focaram as incertezas das previsões nas estimativas dos parâmetros, mas não no erro padrão da regressão, que corresponde a variância da variável dependente que não pode ser explicada pela variável independente, dada por $(1-R^2$). Em suma, os economistas (e demais pesquisadores de ciências sociais) caem na Ilusão da Previsibilidade oriunda de regressões lineares.