A ilusão com o Big Data

O mundo vive a era do volume colossal de dados. Muitas pessoas acham que a solução para problemas de diversas áreas virá do acúmulo e análise de grandes volumes de dados. No entanto, descrever em detalhes as moléculas que compõem os investidores no mercado financeiro não ajudará na formulação de políticas para evitar crises financeiras. Em sistemas complexos o mais importante é saber quais informações são as mais relevantes. O segredo é  determinar quais informações são pivotais e alteram o comportamento de um sistema. Para a compreensão dos dados, é necessário identificar os padrões, que são determinados por um pequeno conjuntos de informações. Além disso, é preciso identificar as transições que ocorrem num sistema. Identificar o comportamento passado não é a solução.

Devido a complexidade do mundos, as tradicionais ferramentas do cálculo e da estatística falham em identificar mudanças radicais em diversos sistemas físicos e sociais. Num sistema complexo, as unidades do sistema não agem de forma totalmente independente ou juntas. Em verdade, elas são interdependentes: uma influencia a outra. Assim, as técnicas acadêmicas tradicionais não conseguem capturar esse comportamento interdependente.

Um exemplo de sistema complexo é o mercado de commodities. A teoria econômica tradicional pressupõem que os agentes decidem seus investimentos de maneira racional e independente, gerando uma curva de demanda e oferta em equilíbrio. O problema dessa análise não é a questão da racionalidade, mas da independência.  Pela ótica de sistemas complexos, as decisões das pessoas influenciam as outras e vice-versa (trend-following). Ou seja, não são totalmente independentes, o que leva as ações individuais se combinarem em oscilações coletivas (bandwagon effect). Não entanto, os conceitos e a matemática utilizado pelos economistas não são capazes de descrever essa dinâmica, apesar das evidências dos trabalhos econômicos mostrarem esses efeitos no mercado.

Sob esse contexto, uma explicação para a formação de bolhas quebras é a interação entre investidores especuladores (denominados trend-followers, que compram quando o preço está subindo e vendem quando o preço está caindo) e investidores fundamentalistas ( que compram na baixa e vendem quando o mercado está em alta). Com o uso do método da  renormalização em grupo , é possível identificar com sucesso a dinâmica de bolhas e quebras do mercado de commmodities, por exemplo. Quando o preço está subindo, os investidores que seguem tendências (trend-followers) tendem a entrar no mercado comprando o ativo, levando o preço para longe do seu equilíbrio. Quando o preço está em alta, investidores fundamentalistas passam a vender o ativo e o preço cai em direção ao equilíbrio. Nesse momento, a interação entre os agentes leva a um efeito de vagão, em que os investidores seguem o comportamento uns dos outros e acabam vendendo o ativo, gerando mais vendas e por consequência, o mercado quebra. Um raciocínio simétrico é válido para o caso de bolhas. Em suma, quando os investidores seguem tendências, bolhas ou quebras são induzidas por esse padrão de comportamento em larga escala.

O problema das metodologias tradicionais utilizadas pela academia (como o cálculo e a estatística) é que elas apenas modelam sistemas simples, em que há separação do comportamento entre a escala micro e macro. Não obstante, a interação entre as partes, gera o comportamento de larga escala, que não é correspondente a separação entre as partes. Assim, uma nova ferramenta matemática denominada  renormalização em grupo foi desenvolvida por físicos para dar detemerminar quais informações são importantes em larga escala. Ou seja, esse método considera a importância da informação (escala). O método da renormalização em grupo  já foi aplicado com sucesso em áreas da biologia e sistemas sociais.

Descrever todos os detalhes de um sistema complexo ( como sistemas biológicos e sistemas sociais), gera excesso de informação. Por outro lado, descrever  somente a média é insuficiente para entender o funcionamento do sistema. Assim, é preciso saber quais variáveis são relevantes.

O perfil de complexidade representa a quantidade de informação necessária para descrever um sistema em função de sua escala . Quanto maior a escala, menos informação é necesária para representar de maneira fidedigna o sistema. Segundo esse perfil, cada pedaço de informação de um sistema tem um tamanho. Dessa maneira, ao invés de acumular detalhes sobre o sistema, é melhor começar a compreender o sistema pelo seu padrão de comportamento em larga escala e adicionar informação apenas quando necessário.

Quanto maior a escala de um sistema, menos detalhes são visíveis e apenas distinções agregadas são vistas. A agregação das partes de um sistema é uma função de como cada parte depende uma da outra. Entender como as propriedades das partes se unem auxilia a compreensão das propriedades do sistema em larga escala. Assim, modelar sistemas com o método de  renormalização em grupo  permite a compreensão das interdependências de um sistema, indentificação de sua a estrutura e entendimento de como realizar intervenções de maneira formal.


Fonte: Yaneer Bar-Yam and Maya Bialik, Beyond Big Data: Identifying important information for real world challenges,2013