Big Data e Teoria

A questão do Big Data ainda irá gerar uma boa discussão na ciência. Há uma certa associação entre a chegada do Big Data e o fato de estarmos livre da teoria. A pesquisa tradicional começa com uma teoria. Em uma ótica mais atual, coleta-se uma tonelada de dados para validar o palpite e tenta encontrar padrões.

A questão é que os padrões podem surgir em um grande conjunto de dados sem que exista uma base para isto

Em seu best-seller 2001 Good to Great, Jim Collins comparou 11 empresas que superaram o mercado de ações geral nos últimos 40 anos com 11 empresas que não o fizeram. Ele identificou cinco características que as empresas de sucesso tinham em comum. "Nós não começamos este projeto com uma teoria para testar ou provar", gabou-se Collins. "Procuramos construir uma teoria a partir do zero, derivada diretamente da evidência".


O fracasso de Collins é bastante conhecido.

Após a publicação de Good to Great, o desempenho das magníficas 11 ações da Collins foi claramente medíocre: cinco ações tiveram um desempenho melhor do que o mercado de ações em geral, enquanto seis tiveram resultados piores.

Em um exemplo mais recente, a empresa Google criou um programa que usava as consultas de pesquisa para prever os surtos de gripe. Usando 50 milhões de consultas de pesquisa, foram identificados 45 termos que possuíam mais correlação com a incidência de gripe. Depois disto, o programa estimou os casos. Na verdade, superestimou, já que o número de casos previsto foi o dobro do que realmente ocorreu.

Segundo Gary Smith:

Uma boa pesquisa começa com uma ideia clara do que alguém está procurando e espera encontrar. A mineração de dados apenas procura padrões e, inevitavelmente, encontra alguns.

Um pouco nesta linha, aqui uma interessante discussão entre o aprendizado de máquina e a econometria.