Teoria na Era do Big Data

• Na era do Big Data, há um questionamento se a teoria ainda é importante
• A grande presença de dados pode alterar a escolha sobre como fazer uma pesquisa
• O perigo é a possibilidade de correlação espúria

Uma vez que a pesquisa científica está usando cada vez mais dados, em grandes quantidades, há um questionamento se a teoria ainda é importante. Jackson, em The Role of Theory in an Age of Design and Big Data, discussa a questão sob a ótica dos economistas. Mas sua visão pode ser expandida para a contabilidade. Ele relembra que recentemente Duflo afirma que economistas seriam como plumbers encanadores, onde o trabalho envolve questões para melhorar a vida das pessoas. E acrescenta que as pesquisas teóricas estão em claro declínio: eram 57% dos artigos publicados em 1983 e representava 19% em 2011. Mas na visão dele, a teoria ainda é necessária na era do design e do big data.

Uma típica pesquisa na era do Big Data coleta uma grande quantidade de dados e procura extrair dali algum tipo de relação estatística. Explora as informações, sem um conhecimento prévio do que pode encontrar. Com o resultado encontrado, o pesquisador tenta buscar teorias que poderia sustentar os achados. Um trabalho deste tipo começaria com a metodologia e análise dos dados para depois fazer a revisão da literatura ou revisão da teoria (são coisas distintas). Alguns pesquisadores acham que esta maneira de fazer pesquisa está errada. É uma opinião baseada no fato de que, em alguns casos, os achados não possuem vínculo com uma base teórica. Isto ocorre quando temos a situação de correlação espúria (aqui, aqui, aqui e aqui), onde o tamanho do vestido apresenta correlação com o comportamento do mercado acionário.

Entretanto, é inegável que algumas descobertas da ciência são feitas desta forma. O que parece estranho quando temos o resultado, pode ser um achado importante. O famoso paper de Fama e French usou uma pesquisa deste tipo para chegar ao modelo de três fatores, segundo afirma Justin Fox. Criticando Fama, é bem verdade.

Para o pesquisador, é importante saber que sua escolha por este tipo de pesquisa também leva a algumas escolhas de técnicas. Uma pesquisa que trabalha os dados, “sem uma teoria”, deveria usar o método Stepwise na regressa múltipla; já uma pesquisa com base teórica precedendo a análise dos dados poderia optar pelo método Enter (vide Andy Field no seu livro de estatística).

Imagem, a partir de uma imagem retirada daqui