Calibração das previsões

Quando fazemos previsões, podemos cometar uma série de erros, independente do modelo preditivo. Fazer previsão é algo muito difícil; em especial, como disse Yogi Berra, sobre o futuro. Um dos problemas é a calibração (o outro é o overfitting). Se considero que a chance de um evento ocorrer é de 80%, isto significa dizer que realmente esta deve ser a probabilidade do evento. Suponha que construí um modelo para prever se irá fazer ou não sol na minha cidade. Sendo 80% a chance de fazer sol prevista pelo modelo, em 80% dos dias isto deve ocorrer, caso contrário o modelo não é calibrado. Se os eventos ocorrerem em 70% das vezes, não é calibrado.

O problema da calibração é que precisamos de muitas previsões para verificar se o modelo é calibrado ou não. Se o meu evento é único, não tenho condições de saber se o modelo foi calibrado ou não. Um site mostrou 10 previsões certas de Jobs e 2 erradas. Isto não permite dizer que Jobs era um bom preditor, por ele ter acertado 10 em 10. Afinal, não temos a lista de todas as previsões de Jobs.

As estimativas de valor estão baseadas em modelos de previsão. Cunha verificou se as previsões de modelos de avaliação usando o fluxo de caixa descontado em ofertas públicas de ações eram aderentes ao longo do tempo. No caso da tese de doutorado de Cunha, o período de tempo estava entre 2002 a 2009. Ele comparou as previsões com os valores realizados, usando testes de médias. Em algumas variáveis foi possível verificar a aderência. Em outras não, existindo superavaliação e subavaliação, conforme o objetivo do laudo. O problema é que foram várias empresas fazendo a previsão, com diferentes modelos preditivos. Sua conclusão mostra que pode existir um viés comportamental (ou ético) nas previsões. Mas que falta calibração para um agente econômico específico ou um modelo de previsão.

Este não foi o problema do site FiveThirtyEight, originalmente criado por Natan Silver (de O Sinal e o Ruído). Como o site está prevendo muitas coisas há mais de 11 anos, recentemente eles fizeram um levantamento da calibração e descobriram que eles acertaram razoavelmente em muitas previsões. Em 5.589 eventos onde eles disseram que um evento tinha 70% de ocorrer (arredondando os 5% mais próximos) eles acertaram 71%; outros 55.553 eventos que afirmaram ter 5% de ocorrer realmente ocorrer 4% das vezes. Mas eles descobriram que estavam confiantes demais nas previsões da NBA em disputas desequilibradas e em outros fatos.

Esta evidenciação do FiveThirtyEight não é realizada por um instituto que faz pesquisa eleitoral ou por uma consultoria que elabora um laudo de avaliação. Também não sabemos a calibração do setor de contabilidade de uma empresa, que faz previsões para mensurar o valor dos ativos (por exemplo, para o teste de impairment) ou dos passivos (para as contingências). Conhecendo a calibração, sabemos como questionável será o valor da mensuração com estes problemas.