Meta-análise e a insignificância do Empurrão

Recentemente um estudo analisou as pesquisas realizadas com a técnica do empurrão (ou cutucada ou nudge, em inglês). A conclusão do artigo é que talvez o empurrão não apresente um ganho expressivo em termos de resultados. 

Logo após a premiação do Nobel de Economia para Kahnemann, a atenção do mundo acadêmico voltou-se para a área comportamental. Cerca de cinco anos depois surgiu um livro, com o título de Nudge, de co-autoria de Richard Thaler e Cass Sunstein. O livro fez sucesso e sua proposta era mostrar os benefícios da forma sobre a essência e como isto poderia ser usado em políticas públicas. 

Um exemplo famoso do livro é o caso do aeroporto que resolveu colocar uma pequena mosca pintada nos mictórios masculinos. O índice de acerto dos homens aumentou e a quantidade de sujeira dos banheiros diminuiu. Há diversos exemplos sobre o poder da forma como uma questão é apresentada e alguns governantes leram o livro e ficaram entusiasmados com a possibilidade de adotar o enfoque comportamental para resolver alguns problemas de gestão.

O governo britânico, por exemplo, criou uma equipe de trabalho que sugeriu diversas abordagens para algumas políticas públicas. Mas será que o empurrão realmente funciona? Pesquisas e mais pesquisas foram publicadas, algumas apresentando bons resultados, outras com resultados decepcionantes. 

Em 2019, um estudo agrupou o conjunto de pesquisas realizadas na área através de uma técnica chamada meta-análise. O resultado foi, segundo seus autores, que o empurrão não funciona. Imediatamente os críticos da área comportamental divulgaram os resultados que seria uma grande crítica para os pesquisadores. Em 2021 outro estudo chegou a mesma conclusão. (Outro estudo, de 2022, chegou em uma resposta positiva)

Agora o DataColada, um site que investiga a fundo as pesquisas acadêmicas, fez uma crítica severa a pesquisa que "derrubou" o empurrão. Em dois posts o site argumenta que a meta-análise não faz sentido uma vez que os estudos incluídos apresentam uma agregação de resultados que não podem ser agregados. 

A técnica da meta-análise é um grande avanço na ciência e já salvou vidas. Ben Goldacre, em Ciência Picareta, capítulo 4, mostra isto. Mas uma condição relevante para este tipo de estudo é que a pesquisa seja realizada com um grupo de estudos similares e comparáveis. O DataColada considera que isto não foi seguido nas duas pesquisas que rejeitaram a importância no empurrão na decisão humana. Sua posição é mais radical - e contrária a Goldacre - que indicar que é uma análise que não faz sentido. 

Cutucadas não resolvem tudo

O comercial acima é da década de setenta. Mostra um índio diante do problema da poluição. A partir deste comercial, Tim Harford chama a atenção para os limites do Nudge, a teoria do empurrão/cutucada de Richard Thaler e Cass Sunstein. Por esta teoria, pequenas mudanças na forma de apresentar uma informação ou uma decisão podem ser relevantes para a solução do problema final. O livro Nudge foi um sucesso e trouxe a criação de equipes comportamentais no governo. Mas existem dois problemas aqui.

Em primeiro lugar, nem sempre o empurrão funciona. Em situações extremas, como na pandemia, há sérios limites para a teoria de Thaler e Sunstein, embora possa ser útil de uma maneira geral. 

O segundo problema é que há interesses que podem comprometer a ideia. Postamos aqui que Sunstein chegou a criticar o excesso de medo das pessoas em fevereiro de 2020 e não reconheceu seu erro para não perder um cargo na OMS. Os políticos gostam de soluções "simplistas" e fáceis, que podem evitar o compromisso de tentar efetivamente uma solução.

O comercial acima parece colocar nas pessoas a culpa pela poluição, evitando constranger os governos e as empresas que produzem o lixo. É uma forma de mudar de assunto. O mesmo está ocorrendo com a questão climática? Será que exigir que as [algumas] empresas divulguem relatórios sobre o impacto ambiental é suficiente? 

A ciência comportamental é uma ótima maneira de encontrar pequenos ajustes que podem fazer uma diferença substancial no comportamento. Os ajustes ajudam se o comportamento resolver um problema, mas isso não pode ser tomado como garantido. É fácil ter uma visão comportamental perfeitamente sólida e transformá-la em uma política mal feita.

Morte da economia comportamental?

 

Jason Hreha escreveu um artigo com o chamativo título de “The death of behavioral economics” (A morte da economia comportamental) O principal ponto considerado por Hreha é o fato de que a aversão a perda está sendo “questionado” por pesquisas mais recentes.

Parte do debate conduzido por Hreha está no método empregado pelos criadores/divulgadores do conceito. Hreha questiona fortemente as referências usadas por Kahneman e Tversky, assim como a forma como fizeram a pesquisa. Há uma boa resposta a estas acusações no Astral Codex e minha sugestão é a leitura https://astralcodexten.substack.com/p/on-hreha-on-behavioral-economics dos argumentos apresentados no longo texto existente lá. Como Hreha cita uma pesquisa de Gal e Rucker recente, Scott Alexander, do Astral, rebate com alguns bons argumentos. A pesquisa de Gal e Rucker parece indicar que a aversão a perda seria consequência de outros viéses, especialmente o efeito propriedade (ou efeito dotação) e o status quo. Mas os pesquisadores não dizem que a aversão não existe, mas somente que talvez não seja a principal explicação para o que ocorre na prática.

Você não pode usar este artigo (Gal e Rucker) para argumentar que “a economia comportamental está morta”. Na melhor das hipóteses, o artigo prova que a aversão à perda é melhor explicada por outros conceitos econômicos comportamentais. Mas você não pode se livrar completamente da economia comportamental.

Mesmo as críticas que indicam que os experimentos foram realizados com estudantes de graduação, foram rebatidos por outros experimentos, realizados com pessoas que possuem elevada renda e mesmo assim possuem aversão a perder pequenas quantias.

O outro ataque de Hreha é sobre as cutucadas. O foco é o fato de que as cutucadas possuem um efeito pequeno, de 1,5%. Alexander argumenta que 1,5% pode ser pequeno em certas situações, mas quando o Uber usa as cutucadas, 1,5% sobre 10 bilhões significa 100 milhões, o que é muito dinheiro. Quando você considera 1,5% sobre 90 milhões de pessoas que não querem vacinar ou são preguiçosos demais, são 1,4 milhão de vacinados.

É normal que críticas irão surgir contra os conhecimentos que temos hoje da economia comportamental (ou das finanças comportamentais). Mas é necessário distinguir entre uma crítica sem fundamento, de uma revisão científica bem feita. Parece não ser o caso das considerações de Hreha.

Cutucadas e pandemia

O conceito da cutucada (nudge) foi popularizado no livro de 2008, de co-autoria de Richard Thaler e Cass Sunstein. A cutucada é algo que altera o comportamento das pessoas sem alterar os incentivos econômicos, mas focando na “forma” para fazer esta mudança.

O exemplo que tornou-se popular foi um problema no Aeroporto de Amsterdã, onde os banheiros masculinos estavam sujos. A administração do aeroporto decidiu pintar cada mictório com uma “mosca”. Este simples desenho melhorou a pontaria dos homens, reduzindo a sujeira dos banheiros.

A popularização da ideia foi tamanha logo assim que o livro Nudge foi lançado. Diversos governos decidiram criar uma unidade que envolvesse o estudo da forma como as opções são apresentadas ao usuário. Sunstein foi trabalhar para o governo Obama, onde procurou incentivar o uso das cutucadas na formulação de políticas federais. A Inglaterra criou um unidade comportamental, onde tal estratégia contribuiu para redução na prescrição de antibióticos pelos médicos de família. O fisco inglês conseguiu um aumento no número de contribuintes, através de uma mensagem para alguns deles.

As críticas não demoraram a aparecer. Algumas delas focavam na “manipulação” das cutucadas. A chegada da pandemia trouxe algum prejuízo para as pesquisas na área. Em primeiro lugar, alguns defensores das cutucadas se posicionaram de forma polêmica: o chefe da equipe inglesa na área, David Halpern, foi acusado de ser contra medidas enérgicas. Um investigação subsequente mostrou que a opção do governo Johnson por medidas mais brandas partiu da suposição que as pessoas não iriam fazer o bloqueio.

O problema é que uma pandemia seria um evento extremo e as cutucadas foram “criadas” para situações corriqueiras. A questão é saber se as cutucadas poderiam funcionar nas condições apresentadas após março de 2020. As pesquisas realizadas desde então parecem estar mostrando que as cutucadas não foram relevantes nestes casos. Um experimento na Itália mostrou que a maioria das pessoas já sabia o que seria necessário fazer e estavam seguindo as ordens, sem a necessidade das cutucadas.

Pensar que cutucadas podem solucionar os problemas do mundo é uma atitude inocente. Imaginar toda intervenção terá resultado também. As cutucadas funcionam sob certas condições e pandemia ajudou a lembrar disto.

Sobre este assunto, recomendo a leitura do artigo da UnDark, The Subtle Psychology of Nudging During a Pandemic

Cutucadas (Nudge) funcionam? Uma meta-análise parece indicar que sim

Desde que o conceito de cutucão (nudge) apareceu no livro de Thaler e Sunstein, diversas aplicações foram realizadas e os efeitos reportados em artigos científicos. O processo de meta-análise corresponde a um grande "resumo" dos estudos para tentar verificar se existe um padrão nos resultados. Em 2019 um estudo com cem pesquisas mostrou que as cutucadas produzem resultados em 62% dos casos, mas que alguns tipos de intervenções não tiveram o sucesso esperado.

Um ano depois outro estudo concluiu que as cutucadas produzem resultados que são estatisticamente significativos. Agora uma pesquisa publicada com 455 situações, de 214 artigos, mostram que as cutucadas afetam o comportamento das pessoas. Este efeito muda conforme o tipo de situação, assim como em 15% dos casos as cutucadas podem ou não dar resultado ou provocar um comportamento oposto ao pretendido. O sucesso ou insucesso pode ser resultado de um maior ou menor processamento da informação ou valores e objetivos individuais. 

Uma situação interessante é que as cutucadas relacionadas com alimentos produzem mais efeito que as cutucadas na área de finanças. 

Um típico problema do estudo de meta-análise é o viés da publicação. Ou seja, estudos com resultado positivo são publicados e estudos com resultado negativo ou sem resultado não são aceitos para publicação. O artigo de 2022 constatou que este viés existe no sentido de publicação de resultados positivos. Em termos práticos, o percentual de eficiência das cutucadas deve ser visto com ressalva. 

Pesquisa original: Mertens, S., Herberz, M., Hahnel, U. J. J. , & Brosch, T. (2022). The effectiveness of nudging: A meta-analysis of choice architecture interventions across behavioral domains. PNAS.

Via aqui

Foto: Goodman