Limitações da Análise Custo-Benefício

Anteriormente já tinha citado a pesquisa que questiona os benefícios da análise custo-benefício em projetos públicos. Mas o artigo do Nada es Gratis faz um bom resumo. Eis um trecho:

Aunque en el artículo de Flyvbjerg y Bester (2021) se presentan numerosos contrastes estadísticos, desagregados por tipos de proyecto, la figura que acompaña a esta entrada resume perfectamente la idea de que las estimaciones de costes y beneficios suelen estar sesgadas. En ella se presentan dos histogramas que muestran la frecuencia relativa de los sobrecostes (aecost) e infrabeneficios (aebenefit), respectivamente. Si las estimaciones de costes y beneficios fueran – mayoritariamente – precisas e imparciales, ambos histogramas se distribuirían más o menos simétricamente alrededor de uno con colas relativamente finas (técnicamente, esperaríamos que el logaritmo de la distribución fuera exactamente simétrico en torno a uno).

Sin embargo, como puede observarse, cada uno de los histogramas es bastante asimétrico, no se distribuye en torno a uno y presenta una concentración de valores extremos relativamente alta (en la cola izquierda para los beneficios, en la derecha para los costes). De hecho, considerando ambas variables conjuntamente, se observa que – por término medio – los sesgos detectados funcionan de tal manera que los excesos de costes no se compensan con los excesos de beneficios, sino todo lo contrario. También vemos que los tipos de inversión con grandes sobrecostes medios tienden a tener grandes déficits de beneficios medios. Estos resultados son importantes porque los errores no solo no se anulan en el caso de los costes y los beneficios por separado, como se ha documentado anteriormente. Además, la inexactitud se ve acelerada por el hecho de que la inversión media se ve obstaculizada por una combinación de sobrecostes e infrabeneficios lo que socava la viabilidad de la inversión en ambos frentes. Además de a simple vista, todos estos resultados son estadísticamente muy significativos en términos de diferentes tests sobre la asimetría y curtosis de la distribución, y totalmente compatibles con la literatura existente con muestras de menor tamaño. La influencia del tipo de inversión, la distribución geográfica o temporal sobre las conclusiones también fueron analizadas, obteniéndose que el patrón de subestimación de los costes y sobrestimación de los beneficios es universal en el espacio y el tiempo con un nivel muy alto de significatividad. 

Princípio da Precaução versus Análise Custo benefício

Li um extenso ensaio sobre Emily Oster, com um monte de links e uma discussão sobre o uso da economia para a vida diária das pessoas.

Antes de comentar o ensaio, uma contextualização. Quando o Freakonomics surgiu, o trabalho de Oster foi colocado em evidência; o seu trabalho sobre a influência da TV a cabo nas mulheres da Índia. Depois disto, Oster decidiu produzir livros, mostrando como as ferramentas analíticas da economia podem ser aplicadas em situações como gravidez ou decisões familiares. Isto inclui a noção de análise custo-benefício.

O problema é que este tipo de análise rejeita o princípio da precaução, amplamente adotado por ambientalistas e especialistas em saúde pública. Quando temos um cenário de incerteza científica sobre os riscos de algo, os tomadores de decisão devem optar por minimizar ou reduzir o risco potencial. Para Oster, o princípio de precaução pode ser ruim para as pessoas. Há, no artigo, um exemplo dos efeitos do álcool na gravidez. Oster considera que os conselhos sobre o assunto são opressivos para as mães já que considera preocupações desnecessárias e restritivas nas suas escolhas. Os estudos sobre os efeitos do álcool na gravidez são inconclusivos e muitos deles de baixa qualidade. A economista interpreta tal fato como sendo igual a baixo risco, o que seria contra o princípio da precaução.

A posição de Oster tornou-se mais proeminente durante a pandemia. Ela escreveu artigos e publicou pesquisas defendendo uma posição mais flexível nas políticas públicas. Isto agradou a direita, que passou a contribuir financeiramente com o Painel Nacional de Resposta Escolar Covid-19, lançado por Oster. Mas a posição da cientista tornou-se crítica naquilo que seria sua principal crítica do princípio da precaução: a fragilidade dos seus dados. Oster usou dados para decretar que a abertura das escolas teria baixo risco na disseminação viral. Usando dados com uma amostra muito pequena – apenas duas semanas de informações – coletada somente nas escolas que participavam do seu Painel, Oster declarou que as escolas não eram foco de transmissão da doença. O problema é que isto não era possível de concluir de forma científica.

Mais ainda: quando questionada, emitiram uma correção, reconhecendo os problemas da qualidade dos dados, mas sustentaram que os erros não alteravam suas conclusões. Eis a conclusão do artigo:

Nossa falha na resposta pandêmica, que resultou em um milhão de mortes até agora [nos Estados Unidos] foi baseada na substituição total de valores morais ou éticos compartilhados por suposições individualistas sobre riscos, benefícios e valor. As realidades de um surto de doença infecciosa mostraram-se profundamente inconvenientes para os privilegiados, os interesses do capital e os ideólogos de direita, que trabalharam para justificar essas hierarquias. O resto de nós deve considerar a ação coletiva e a solidariedade como pré-condições essenciais para atender às necessidades sociais, enfrentar as crises do planeta e trabalhar na direção de um mundo que não sacrifique o bem social no altar do interesse próprio.

E a contabilidade? - Confesso que não conhecia o princípio da precaução e sua aplicação nas políticas públicas de saúde. Mas sua formulação no texto lembrou o conservadorismo contábil. A aplicação de princípios econômicos de análise, como o uso inapropriado do valuation em mensuração contábil, lembrou o passo que demos na contabilidade a partir dos anos oitenta.

Análise custo-benefício

Most cost-benefit analyses assume that the estimates of costs and benefits are more or less accurate and unbiased. But what if, in reality, estimates are highly inaccurate and biased? Then the assumption that cost-benefit analysis is a rational way to improve resource allocation would be a fallacy. Based on the largest dataset of its kind, we test the assumption that cost and benefit estimates of public investments are accurate and unbiased. We find this is not the case with overwhelming statistical significance. We document the extent of cost overruns, benefit shortfalls, and forecasting bias in public investments. We further assess whether such inaccuracies seriously distort effective resource allocation, which is found to be the case. We explain our findings in behavioral terms and explore their policy implications. Finally, we conclude that cost-benefit analysis of public investments stands in need of reform and we outline four steps to such reform.

The Cost-Benefit Fallacy: Why Cost-Benefit Analysis Is Broken and How to Fix It - Journal of Benefit-Cost Analysis, October, pp. 1-25, doi 10.1017/bca.2021.9. (via aqui)

Tim Harford faz uma análise sobre o artigo acima aqui. A análise custo-benefício seria, segundo Harford, a melhor técnica de decisão. A proposta dos autores é "consertar" a técnica, melhorando a estimativa de custo. 

Figura: aqui

A relação custo-benefício em tempos de covid

Uma questão bem interessante nos tempos de pandemia é qual razão de muitas sociedades tenham decidido fechar os negócios após uma análise do custo e benefício favorável no sentido contrário. Explicando melhor: alguns analistas mensuraram que os efeitos de um fechamento da economia seria pior do que  manter a economia funcionando. Mesmo assim, muitos países optaram pelo fechamento, mesmo após esta análise. Qual o sentido disto? Talvez um problema de mensuração destas pesquisas? 

O blog Stumbling and Mumbling apresenta uma reflexão sobre isto bem interessante. A análise citada anteriormente é chamada de princípio Kaldor-Hicks: uma mudança de política é uma melhoria se os beneficiários dela pudessem compensar os perdedores e mesmo assim ficar em condições melhores. Ou seja, a abertura da economia supera os custos. 

Para o blog, além da questão da mensuração, quando superestimamos os benefícios e subestimamos os custos - viés da confirmação em outras palavras, há uma questão filosófica. O problema de Kaldor -Hicks é que não leva em conta a distinção entre as pessoas.

Análise custo e benefício

Lendo John Kay aprendo a origem da análise custo e benefício. Ao comentar sobre o novo livro de Cass Sunstein, que enaltece a análise, Kay acrescenta:

Não foi uma revolução [a análise] de custo-benefício, que começou na Grã-Bretanha, na década de 1960. A análise de custo-benefício em todo o mundo ainda segue um modelo estabelecido pela primeira vez em um estudo de 1962 de Michael Beesley e Christopher Foster [citado somente 215 vezes no Google Acadêmico], que estudou a construção da linha Victoria em Londres. Eles demonstraram que, embora a linha gerasse pouca receita adicional, o valor criado em economia de tempo e redução do congestionamento acima e abaixo do solo excedia em muito os custos. Cinquenta anos depois, não pode haver dúvida de que eles estavam certos. O custo total de menos de 100 milhões de libras, equivalente a pouco mais de 1 bilhão de libras esterlinas, parece um preço muito baixo para o que hoje é parte indispensável da infraestrutura de transporte da capital.

Custo - Benefício

A CVM decidiu fazer um projeto voltado para a comunidades de baixa renda, conforme informa o Valor Econômico (CVM investiga mentes para tentar estimular poupança)

O projeto mais adiantado é o voltado a comunidades de baixa renda. A CVM tem feito visitas e iniciado alguns projetos-piloto no Rio, como nas regiões da Barreira do Vasco e Santa Marta, junto a Unidades de Polícia Pacificadora (UPPs). "Fizemos parcerias com grupos que fazem políticas públicas nesses locais e já conhecem a realidade, os valores, signos e símbolos, a forma como as pessoas se decidem e como se organizam em termos econômicos", diz Vasco.

Será que isto passaria pelo teste da análise custo-benefício? Provavelmente não. A grande maioria dos investidores, seja de baixa ou alta renda, fazem investimentos através de fundos. Não seria mais relevante a entidade, que usa recursos públicos, preocupar-se com venda casada de investimento ou taxas elevadas de administração dos fundos?

Análise custo-benefício

A análise custo-benefício é muito citada e pouco exemplificada. Gleeson-White apresenta um exemplo simples ocorrido na empresa Ford em 1977 (1). A empresa fabricava um automóvel denominado Pinto. 

A empresa sabia que o produto não era totalmente seguro, mas corrigir os problemas significava aumentar o custo do produto em 11 dólares por unidade vendida.

Um estudo realizado pela empresa estimou que um produto vendido sem os equipamentos adicionais de segurança provocaria 2100 incidentes, com 180 pessoas que poderia sofrer ferimentos e outras 180 poderiam morrer. O automóvel venderia 12,5 milhões de unidades previstas. O custo total seria:

Custo Total = 12,5 milhões de unidades  x 11 dólares = 137,5 milhões

O custo para empresa seria de 200 mil dólares por morte e 67 mil por ferimentos. Cada incidente produziria um custo adicional de $700 por veículo. Se a empresa não tomasse nenhuma medida para melhorar a segurança o valor da empresa, ou o benefício, seria:

Benefício = 180 mortes x 200 mil + 180 ferimentos x 67 mil + 2100 incidentes x 700

Benefício = 49, 5 milhões de dólares

Assim, a análise custo-benefício mostrou que seria mais vantajoso para a empresa não fazer nada para segurança dos seus clientes.

(1)    GLEESON-WHITE, Jane. Double-entry, New York: W.W. Norton, epilogo.