Você pode deixar isso mais claro?

Sobre o uso da IA em ciência, achei o texto bastante ponderado, como usualmente é o caso dos textos da The Economist. A tradução foi feita pelo GPT: 

 Muitas pessoas estão ocupadas experimentando chatbots na esperança de que a inteligência artificial generativa (IA) possa melhorar suas vidas diárias. Cientistas, sendo inteligentes como são, estão vários passos à frente. Como relatamos, 10% ou mais dos resumos de artigos em revistas científicas agora parecem ser escritos, pelo menos em parte, por grandes modelos de linguagem. Em áreas como a ciência da computação, essa porcentagem sobe para 20%. Entre os cientistas da computação chineses, chega a um terço.

Alguns veem essa adoção entusiástica como um erro. Eles temem que grandes quantidades de artigos de baixa qualidade possam introduzir vieses, aumentar o plágio e sobrecarregar o sistema de publicação científica. Algumas revistas, incluindo a família Science, estão impondo exigências rigorosas de divulgação sobre o uso de grandes modelos de linguagem. Essas tentativas são fúteis e equivocadas. Não é fácil controlar o uso desses modelos. Mesmo que fosse possível, muitos cientistas descobrem que seu uso traz benefícios reais.

Os cientistas pesquisadores não estão apenas dedicados ao trabalho de laboratório ou a grandes reflexões. Eles enfrentam grandes demandas de tempo, desde escrever artigos e dar aulas até preencher infinitas solicitações de bolsas. Os grandes modelos de linguagem (LLMs) ajudam acelerando a redação de artigos, liberando tempo para que os cientistas desenvolvam novas ideias, colaborem ou verifiquem erros em seus trabalhos.

A tecnologia também pode ajudar a equilibrar um campo de jogo inclinado a favor dos falantes nativos de inglês, já que muitas das revistas prestigiadas estão nessa língua. Os LLMs podem ajudar aqueles que não falam bem o idioma a traduzir e editar seus textos. Graças aos LLMs, cientistas em todo o mundo devem ser capazes de disseminar suas descobertas mais facilmente e serem julgados pelo brilhantismo de suas ideias e engenhosidade de sua pesquisa, em vez de por sua habilidade em evitar erros gramaticais sutis. 

Como ocorre com qualquer tecnologia, há preocupações. Como os grandes modelos de linguagem (LLMs) facilitam a produção de textos com aparência profissional, eles também facilitam a geração de artigos científicos fraudulentos. A revista Science recebeu 10.444 submissões no ano passado, das quais 83% foram rejeitadas antes da revisão por pares. Alguns desses certamente foram fantasias geradas por IA.

Os LLMs também podem exportar, por meio de suas palavras, o ambiente cultural em que foram treinados. Sua falta de imaginação pode estimular plágio inadvertido, no qual copiam diretamente trabalhos anteriores feitos por humanos. "Alucinações" que são obviamente erradas para especialistas, mas muito convincentes para o público geral, também podem aparecer no texto. E o mais preocupante de tudo: escrever pode ser uma parte essencial do processo de pesquisa, ajudando os pesquisadores a esclarecer e formular suas próprias ideias. Um excesso de dependência dos LLMs, portanto, pode empobrecer a ciência.

Tentar restringir o uso de grandes modelos de linguagem (LLMs) não é a maneira correta de lidar com esses problemas. No futuro, eles rapidamente se tornarão mais comuns e poderosos. Eles já estão integrados em processadores de texto e outros softwares, e em breve serão tão comuns quanto os corretores ortográficos. Pesquisas com pesquisadores indicam que eles veem os benefícios da IA generativa não apenas para escrever artigos, mas também para codificar e realizar tarefas administrativas. E, crucialmente, seu uso não pode ser facilmente detectado. Embora as revistas possam impor todas as exigências rigorosas de divulgação que desejarem, isso não adiantaria, pois elas não conseguem identificar quando suas regras foram violadas. Revistas como a Science deveriam abandonar exigências detalhadas de divulgação para o uso de LLMs como ferramenta de escrita, além de um simples reconhecimento.

A ciência já possui muitas defesas contra a fabricação e o plágio. Em um mundo onde o custo de produzir palavras cai para praticamente nada, essas defesas precisam se fortalecer ainda mais. A revisão por pares, por exemplo, se tornará ainda mais importante em um mundo com IA generativa. Ela deve ser reforçada de acordo, talvez pagando aos revisores pelo tempo que sacrificam para examinar os artigos. Também devem haver mais incentivos para que pesquisadores repliquem experimentos. Comissões de contratação e promoção em universidades devem garantir que os cientistas sejam recompensados com base na qualidade de seu trabalho e na quantidade de novos insights que geram. Controlando o potencial de uso indevido, os cientistas têm muito a ganhar com seus auxiliares LLMs.

(Uma observação: vou evitar usar a palavra crucial)

Inteligência Artificial: preferência por fingir que sabe do que admitir ignorância

Um estudo (via aqui) comparou versões recentes dos três chatbots de inteligência artificial (IA) mostrou que as ferramentas escolhem gerar respostas incorretas, em lugar de admitir que não sabem. A comparação foi feita com as versões anteriores. Além disso, o estudo mostrou que as pessoas não são boas em encontrar as respostas ruins. Isso significa que as pessoas não conseguem identificar os erros, superestimando as respostas oferecidas. 

Os pesquisadores espanhóis também descobriram que as versões maiores e melhores da IA são mais precisas, por ser montadas de maneira mais adequada e com o uso do feedback humano. Isso é uma boa notícia.

IA pode produzir uma pesquisa em contabilidade?

Eis o resumo:

Objetivo – Este estudo tem como objetivo verificar se artigos de pesquisa em contabilidade podem ser potencialmente gerados por inteligência artificial. Se a inteligência artificial puder produzir trabalhos de qualidade, a integridade da pesquisa acadêmica poderá ser comprometida.

Design/metodologia/abordagem – O ChatGPT foi utilizado para criar um artigo sobre uma meta-análise da relação entre relatórios de sustentabilidade e relevância do valor. Após a geração do artigo, as referências tiveram que ser adicionadas manualmente com base nas citações criadas pelo ChatGPT. O artigo foi então apresentado como estava para revisão.

Resultados – O ChatGPT conseguiu criar um artigo de pesquisa de qualidade relativamente boa, que recebeu duas revisões importantes de especialistas independentes nas áreas de contabilidade e finanças. Embora haja incerteza quanto à adequação de todas as referências e os resultados não possam ser confirmados, existe o risco de que um revisor considere o artigo publicável, pois os revisores não são obrigados a verificar as referências e a precisão dos resultados se métodos adequados foram usados e aparentam ser suficientes à primeira vista.

Originalidade/valor – A inteligência artificial para escrita acadêmica ainda é relativamente nova, e ainda há incerteza significativa quanto ao impacto que pode ter na pesquisa acadêmica. Isso é especialmente problemático porque as aplicações de inteligência artificial melhoram a cada segundo.

Fonte: Accounting Research Journal, Vol. 37 No. 4, 2024, pp. 365-380 . 

Imagem gerada pelo ChatGPT. Tradução do ChatGPT

Contabilidade, fraude e IA

O estudo da fraude na contabilidade é extremamente importante. Na obra seminal da contabilidade, publicada no final dos anos 1400, há uma lição relevante:

Infelizmente, há muitos que mantêm seus livros em duplicata, mostrando um ao comprador e outro ao vendedor. O que é pior, juram e cometem perjúrio sobre eles. Como agem mal! No entanto, se precisarem apresentar seus livros a um oficial [para autenticação] (como os cônsules a serviço da cidade de Perosa), não podem mentir e fraudar tão facilmente.

Pacioli, o autor deste texto, já antecipava que a fraude seria um problema para a contabilidade. Muitas pessoas acreditavam que a partida dobrada seria uma solução eficaz para evitar fraudes. Em 1839, um autor afirmou:

a contabilidade por partida simples é essencialmente defeituosa, pois não oferece método para determinar o estado dos negócios de um comerciante sem fazer um inventário - uma tarefa que é tanto trabalhosa quanto suscetível a erros e que, na melhor das hipóteses, não oferece meios adequados para prevenir desfalques ou detectar fraudes; mas esses objetivos são alcançados pela partida dobrada, talvez tão eficazmente quanto a engenhosidade humana pode conceber

(ambos citados em An Accounting Thesaurus 500 Years of Accounting de Chambers)

No entanto, sabemos que a partida dobrada não resolveu o problema da fraude, como Pacioli já sabia. Mas será que a Inteligência Artificial (IA) pode ser uma ferramenta útil? Antes de responder, é interessante notar que a fraude é, em essência, o estudo da mentira. Sociedades antigas usavam a tortura para detectar mentiras. Por exemplo, na Idade Média, acreditava-se que pessoas honestas suportariam melhor a dor da água fervente do que os mentirosos. No final do século XIX, imaginou-se que mudanças na pressão arterial poderiam ser usadas para detectar mentiras. Isso levou ao desenvolvimento do polígrafo no início do século XX, que mede a pressão arterial e a respiração para detectar mentiras. Você provavelmente já viu um polígrafo em filmes ou séries de TV, onde a máquina é usada para tentar descobrir se alguém está mentindo.

Mas a primeira linha do verbete da Wikipedia não deixa dúvidas:

Um polígrafo, frequentemente referido incorretamente como um teste de detector de mentiras, é uma pseudociência.

Se as partidas dobradas não resolveram o problema da fraude, os autores do final do século XIX e início do século XX pensavam que a auditoria poderia ser a solução. Havia diversos autores que afirmavam que essa seria a principal função da atividade e há muitas citações nesse sentido. A auditoria não só falhou em resolver o problema, como nos últimos anos também tem resistido a assumir essa função.

Os estudiosos passaram a procurar um detector de mentiras nos números contábeis. Supunha-se que os mentirosos tentariam alterar os balanços e outras demonstrações. Para isso, um conjunto de técnicas multivariadas, desenvolvidas em áreas como a genética, foram usadas na tentativa de encontrar o polígrafo. Uma dessas técnicas era a análise discriminante, que usa basicamente dados históricos de empresas boas e ruins para construir uma equação. A ideia era aplicar essa equação às empresas para classificá-las, conforme o resultado, em um desses grupos. Esta técnica é a base dos modelos de Altman e Kanitz, que ainda são utilizados hoje.

Há uma série de problemas com esse detector de mentiras, mas vamos nos concentrar em dois deles. O primeiro é que as técnicas dependem de casos que já ocorreram. Se o que o modelo tenta prever se repetir no presente e no futuro, a técnica ainda é válida. Mas nada garante que isso funcione, já que muitos dos modelos foram construídos há muito tempo. O modelo de Altman, por exemplo, foi divulgado no final dos anos sessenta, há 60 anos, com dados do final dos anos cinquenta e início dos anos sessenta. Se aquela realidade ainda for válida para os dias de hoje, você pode usar o modelo sem problemas. Mas o bom senso nos leva a desconfiar que talvez não seja o caso de continuar usando esses modelos antigos.

O segundo problema é que os mentirosos muitas vezes sabem qual ferramenta você está usando. Para contornar isso, a contabilidade fraudulenta deve evitar prejudicar certos índices que compõem os modelos de falência, como o Altman. Como construir seu próprio índice exige conhecimento técnico e uma amostra adequada, muitas pessoas se limitam a calcular os índices e esperam que sejam uma boa medida.

Nas últimas décadas ferramentas mais sofisticadas começaram a aparecer. Os pesquisadores passaram a estudar o vocabulário usado pelas pessoas – no caso, os executivos das empresas, a maneira como expressam seus sentimentos e outros sinais sutis. Há uma crença generalizada que quando uma pessoa mente, ela desvia o seu olhar. Mas os pesquisadores descobriram que pode ser exatamente o oposto: quando uma pessoa mente, ela olha para as pessoas para sentirem se a mentira foi bem aceita. Imagine uma reunião de negócios e o executivo de uma empresa diz para um representante de uma instituição bancária que a empresa está indo muito bem e que isto seja uma mentira. Sabendo dos sinais de um mentiroso transmite, o olhar do executivo para o representante do banco pode ser um detector de mentira.

Esse pequeno exemplo ocorre em escala diferente com documentos técnicos elaborados por uma empresa, como uma demonstração contábil. Uma empresa que começa a falar muito das condições externas no relatório de administração parece ser um sinal de que algo vai mal; se atrasa a divulgação, mais um sinal; se muda o auditor sem uma justificativa, devemos desconfiar; se escolhe o figurão para compor o comitê de auditoria, em lugar da técnica com sólidos conhecimentos contábeis, adicione mais desconfiança; e assim por diante.

É neste sentido que a inteligência artificial surge, com uma promessa de aumentar nossas chances de antecipar as falcatruas. É o mais novo teste de polígrafo, que ajudaria a separar notícias falsas, detectar mentiras na contabilidade, entre outras. Ou seja, a inteligência artificial seria a nova arma contra fraude.

Quando falamos de comunicação textual, realmente a IA pode processar uma grande quantidade de informação, sendo possível desenvolver um instrumento de análise bem mais rápida. Quando falamos sobre a comunicação verbal, como de um executivo em uma conferência da impressa, já temos instrumentos técnicos para fazer uma análise, mas talvez não tão confiável quanto a análise textual.

Mas a IA é um instrumento como outro qualquer. Eu posso usar uma análise discriminante que classifica uma empresa como ruim, mas mesmo assim o ser humano responsável pela decisão irá investir ou conceder crédito, por uma série de outras razões. Da mesma forma, eu posso ter uma ferramenta de IA que detecta mentira e mesmo assim não saber usá-la ou fazer de forma inadequada.

Vejamos o limite do uso da IA através de um estudo recente (via aqui). Uma economista de Wurzburg, Alemanha, desenvolveu um conjunto de experimentos para verificar a relação das pessoas com a inteligência artificial em termos do processo de descobri a mentira.

Alicia von Schenk e seus colegas pediram para voluntários escreverem sobre seus planos para o fim de semana. Para aqueles que escrevessem um plano razoável, mas mentiroso, que corresponde a metade do grupo, foi pago um valor.  Ou seja, em metade dos voluntários, os pesquisadores incentivaram a mentira. Depois disso, eles usaram parte dos textos (80%) para treinar um algoritmo usando a inteligência artificial. Construído o modelo, com o restante dos textos (20%) eles verificaram que o algoritmo acertava 67%. Em geral o homem consegue descobrir quando as pessoas estão mentindo em metade dos casos. O que queremos dizer é que o algoritmo funcionava.

Depois disto, eles verificaram como as pessoas reagem com o uso de IA para detectar mentiras. Os pesquisadores verificaram o que acontecia quando as pessoas podiam pagar para usar a IA para ajudar a descobrir mentiras. Havia uma recusa em usar, talvez por não acreditar na capacidade da IA de ajudar ou por acreditarem que poderiam fazer com êxito. Mas aqueles que toparam pagar pelo uso da IA, eles confiavam na tecnologia. Mas há um ponto interessante aqui: metade dos textos eram mentirosos. Quando os voluntários não usavam IA, eles acreditavam que somente 19% dos casos eram mentirosos – embora soubessem que seria na verdade 50%. Mas quando usavam a IA, a taxa de acusação de que existia mentira no texto subia para 58%.

Aspecto positivo: a ferramenta melhorou o desempenho na detecção da mentira. Mas há um lado ruim: nossos relacionamentos dependem do fato de que acreditamos no outro. A IA pode gerar desconfiança excessiva. Mais ainda: se inventamos uma ferramente automática para detectar mentiras, podemos também inventar uma IA para inventar as mentiras. Os fraudadores do polígrafo tomam remédios para reduzir os batimentos cardíacos. Podemos inventar maneiras criativas de enganar a IA com uma IA construída para mentir e passar os testes. 

Para concluir: (Veja que interessante. Passei o texto acima no GPT para correção de alguns erros. Por três vezes ele mudou o texto. Na última vez, acrescentou: Essas questões ilustram que, embora métodos modernos como a inteligência artificial possam auxiliar na identificação de fraudes, eles não são soluções perfeitas e devem ser usados em conjunto com práticas tradicionais de auditoria para serem verdadeiramente eficazes.) Ah, isto não fazia parte do meu texto. Assustador, não?