Rir é o melhor remédio

 

A meta-análise de toda ciência indicou que ela não é significante. Fonte xkcd

Meta-análise na contabilidade faz sentido?

A meta-análise é um importante técnica de pesquisa, que ganhou popularidade a partir do final do século passado. Em termos científicos, a meta-análise é a tentativa de juntar pesquisas realizadas separadamente e que conduziram a determinadas conclusões. A meta-análise mostra que se pesquisas separadas podem chegar a uma conclusão, a junção dos resultados pode ou solidificar o que sabemos ou destacar descobertas que não foram vistas nas pesquisas separadas. 

A figura acima é o símbolo da Cochrane Collaboration. Entre 1972 a 1981 algumas pesquisas procuraram mensurar os efeitos dos esteroides em mulheres grávidas. Cada pesquisa trouxe um resultado, que individualmente não contribuía substancialmente para a ciência.  Cada linha do símbolo acima é uma pesquisa. Entretanto, dado o número limitado de pessoas na amostra, os resultados não eram conclusivos.

Em 1989 foi realizada uma meta-análise, juntando os dados dos experimentos. A conclusão é que o esteroide reduz o risco de que os bebês morram em razão do nascimento prematuro. Veja que no final do símbolo há um losango. A reunião dos dados de diferentes pesquisa mostrou isto. Isto tudo pode ser lido no livro Ciência Picareta, de Ben Goldacre, como um exemplo de como a ciência pode ajudar a humanidade. 

O tempo passou e hoje a meta-análise é bastante utilizada em diversas ciências. Mas a técnica, se bem usada, pode contribuir para evolução do conhecimento humano, se for usada de maneira inadequada, pode ser um problema. Recentemente, um estudo de meta-análise sobre o efeito do empurrão (nudge) ganhou destaque. Mas uma análise crítica do mesmo revelou os dois perigos da meta-análise. 

O primeiro problema é que alguns estudos são melhores do que outros. A meta-análise tende a considerar que todos estudos são bons. E isto é algo que precisa ser visto com cuidado. O estudo do empurrão, citado anteriormente, usou 283 resultados e não excluiu nenhum em razão da qualidade. É difícil imaginar que todos os estudos eram de boa qualidade. 

Há aqui também o problema do viés de publicação. Isto pode induzir a certos resultados. É bem verdade que existem técnicas para resolver em parte este problema, mas acredito que dificilmente o pesquisador conhece e aplica tais técnicas. 

O segundo problema é a possibilidade de combinar resultados que não são comparáveis. Os estudos comportamentais podem ser usar de experimentos. E cada experimento pode ter uma visão e um desenho diferente. O que torna difícil fazer comparações, ao contrário do que ocorreu com o estudo original da meta-análise. 

Estas críticas estão bem apresentadas em um texto crítico do DataColada. Veja o texto aqui. 

Contabilidade - Os aspectos apresentados anteriormente são válidos para a contabilidade. Veja uma questão importante para a contabilidade financeira, que poderia ser resolvida pela meta-análise: o uso das normas internacionais é bastante positiva para um país. Os estudos individuais podem ser agrupados para tentar responder a esta questão. Considere que um pesquisador investigou o caso com empresas de diversos países, que fizeram a convergência entre 2000 a 2015. E outro pesquisador fez pesquisa semelhante, com convergência entre 2005 a 2020. Havendo superposição temporal e, possivelmente entre os países, o uso da meta-análise pode levar a conclusões inadequadas, já que podemos ter um caso de dupla contagem. Este é o ponto que faz com que a meta-análise, na contabilidade financeira, deva ser considerada com cautela. 

Temos aqui uma terceira crítica ao uso da técnica, que não apareceu no texto do DataColada: a possibilidade de existir dupla contagem nas pesquisas, onde uma mesma empresa, para um mesmo período, faz parte da amostra de mais de uma pesquisa. É quase certo que isto não seria um problema na contabilidade gerencial, mas merece o cuidado na contabilidade financeira.

Assim, com respeito a pergunta do título, a meta-análise pode ser usada na contabilidade, com o cuidado indicado no texto: fazer uma análise da qualidade da pesquisa, ter o cuidado de combinar resultados compatíveis e evitar uma dupla contagem. Com o cuidado devido, a técnica pode ser fundamental para solidificar conhecimentos. Mas sem este cuidado, pode levar a conclusões inadequadas. 

(Alguns dos pontos colocados neste texto foram frutos de discussão com o mestrando Antônio, que apresentou uma visão bem madura sobre o assunto. Nesta discussão, conclui que até o presente momento não tivemos, na nossa área e no Brasil, uma pesquisa de qualidade sobre o assunto. Espero estar enganado)

Grande parte dos achados publicados em Finanças são falsos positivos

Entrevista com Campbell Harvey, PHD em Chicago. Professor da Duke University. Ex-editor do Journal of Finance. Vice-preseidente da American Finance Association

Q: Investors often rely on financial research when developing strategies. Your recent findings suggest they should be wary. What did you find?

Campbell Harvey: My paper is about how we conduct research as both academics and practitioners. I was inspired by a paper published in the biomedical field that argued that most scientific tests that are published in medicine are false. I then gathered information on 315 tests that were conducted in finance. After I corrected the test statistics, I found that about half the tests were false. That is, someone was claiming a discovery when there was no real discovery.

Q: What do you mean “correcting the tests”?

Campbell Harvey: The intuition is really simple. Suppose you are trying to predict something like the returns on a portfolio of stocks. Suppose you try 200 different variables. Just by pure chance, about 10 of these variables will be declared “significant” – yet they aren’t. In my paper, I show this by randomly generating 200 variables. The simulated data is just noise, yet a number of the variables predict the portfolio of stock returns. Again, this is what you expect by chance. The contribution of my paper is to show how to correct the tests. The picture above looks like an attractive and profitable investment. The picture below shows 200 random strategies (i.e. the data are made up). The profitable investment is just the best random strategy (denoted in dark red). Hence, it is not an attractive investment — its profitability is purely by chance!

Q: So you provide a new set of research guidelines?

Campbell Harvey: Exactly. Indeed, we go back in time and detail the false research findings. We then extrapolate our model out to 2032 to give researchers guidelines for the next 18 years.

Q: What are the practical implications of your research?

Campbell Harvey: The implications are provocative. Our data mainly focuses on academic research. However, our paper applies to any financial product that is sold to investors. A financial product is, for example, an investment fund that purports to beat some benchmark such as the S&P 500. Often a new product is proposed and there are claims that it outperformed when it is run on historical data (this is commonly called “backtesting” in the industry). The claim of outperformance is challenged in our paper. You can imagine researchers on Wall Street trying hundreds if not thousands of variables. When you try so many variables, you are bound to find something that looks good. But is it really good – or just luck?

Q: What do you hope people take away from your research?

Campbell Harvey: Investors need to realize that about half of the products they are sold are false – that is, there is expected to be no outperformance in the future; they were just lucky in their analysis of historical data.

Q: What reactions have Wall Street businesses had so far to your findings?

Campbell Harvey: A number of these firms have struggled with this problem. They knew it existed (some of their products “work” just by chance). It is in their own best interest to deliver on promises to their clients. Hence, my work has been embraced by the financial community rather than spurned.

Professor Harvey’s research papers, “Evaluating Trading Strategies“, “…and the Cross-Section of Expected Returns” and “Backtesting” are available at SSRN for free download.

Fonte: aqui

Outra explicação aqui

Estatística

Você fica confuso com as técnicas estatísticas? Não sabe como enquadrar a meta-analíse nos métodos quantitativos? Os gráficos abaixo talvez facilitem as coisas:





Fonte: Statistical Modeling, Causal Inference, and Social Science

Países mais felizes

Diversos estudos procuram determinar que país tem a população mais feliz. Os resultados, alguns deles controversos, foram reunidos através de uma ferramenta denominada meta-análise. Através da meta-análise os diferentes estudos são reunidos num único.

O resultado final de uma pesquisa, realizada por Adrian White, mostram uma relação da felicidade com o nível de saúde (correlação de 0,62), riqueza (0,52) e educação (0,51). A supresa ficou com países da Ásia, como China, India e Rússia, considerados locais onde o povo não é muito feliz (82o., 125o. e 167o., de um total de 178 países)

A classificação:

1. Dinamarca
2. Suiça
3. Aústria
4. Islândia
5. Bahamas
6. Finlândia
7. Suécia
8. Butão
9. Brunei
10. Canadá
11. Irlanda
12. Luxemburgo
13. Costa Rica
14. Malta
15. Holanda
16. Antigua
17. Malásia
18. Nova Zelândia
19. Noruega
20. Seicheles

Os piores

176. República Democrática do Congo
177. Zimbabue
178. Burundi