O grande problema da IA

De Miguel Nicolelis:

Neste estudo, os autores demonstram que a medida que textos produzidos por modelos conhecidos como LLM (do inglês Large Language Models), que são a base de aplicativos como Chat-GPT-3 e Chat-GPT, passarem a dominar o conteúdo disponível na internet e, inadvertidamente, começarem a ser usados para o treinamento de novas gerações de LLMs, estes últimos modelos tenderiam a sofrer o que os autores chamaram de “colapso”. Este colapso foi definido como “um processo degenerativo que afeta gerações de modelos generativo que ocorre quando os dados que eles produziram, numa geração anterior, passam a fazer parte ou “poluir” o grupo de dados de treinamento usados para que uma nova geração de modelos possa aprender”.

Leia mais em https://forbes.com.br/forbes-tech/2024/08/o-estouro-da-bolha-da-ia-e-a-falacia-de-um-futuro-sem-futuro/

Veja que isto já tinha sido postado aqui antes. Destaco o caso da Adobe, que está contratando seres humanos para treinar a IA.

Diagnóstico de saúde de uma empresa

Eis o resumo:

Depois de ser apresentado com 150 casos médicos, o chatbot de IA só deu um diagnóstico correto menos da metade do tempo, conforme detalhado em um novo estudo publicado na revista Plos One.

Os resultados mostram que, em sua forma atual, o ChatGPT “não é preciso como uma ferramenta de diagnóstico”, escreveram os pesquisadores, o que questionaria os esforços de empresas como o Google que estão experimentando chatbots sendo usados em hospitais. E como os modelos de IA estão sendo lançados especificamente para fins médicos, os autores temem que o público superestime as capacidades da tecnologia.

O estudo apresentou o histórico de um paciente e solicitou que se escolhesse entre quatro alternativas, das quais apenas uma estava correta. Como o estudo foi publicado em um periódico respeitável, podemos estabelecer uma conexão entre ele e a contabilidade. Sim, há uma lição interessante aqui. O médico precisa fazer um diagnóstico com base nas informações coletadas sobre o paciente. Embora essa não seja a única tarefa de um médico, é provavelmente uma das mais nobres.

Há uma similaridade com a contabilidade e as empresas. Após reunir informações sobre a "saúde" da entidade, o profissional contábil-financeiro precisa diagnosticar o que deve ser feito. Por exemplo, o contador gerencial apura os custos dos produtos e, aplicando técnicas como a programação linear, determina o melhor mix de produção. Será que a inteligência artificial também alcançaria esse nível de precisão?

Quanto vale um executivo?

É uma boa pergunta, mas nem sempre temos uma resposta adequada. Uma maneira de mensurar isso é calcular o valor presente dos salários e benefícios que ele receberá. Em um mundo onde a responsabilidade está sendo diluída dentro das organizações, talvez essa abordagem superestime o valor. O mercado pode oferecer uma resposta, mas a desigualdade salarial nas empresas pode distorcer o valor obtido.

Existem situações em que isso pode ser melhor analisado, como quando um executivo famoso é contratado por uma empresa e podemos observar o impacto no preço das ações. Outra situação é quando esse executivo falece e, novamente, observamos o mercado de ações. Aqui temos um caso interessante.

No dia 13 de agosto, a Starbucks anunciou a contratação de Brian Niccol como seu novo CEO. No dia anterior, as ações da empresa estavam sendo vendidas por 77 dólares; logo após o anúncio, o preço subiu para 94 dólares. Esse aumento, multiplicado pelo número de ações, resultou em um ganho de 19 bilhões de dólares. Niccol deverá receber um salário de 1,6 milhão de dólares, além de bônus de 10 milhões e incentivos. Comparado ao ganho de valor da Starbucks, o pagamento parece ser significativamente menor. No entanto, é importante considerar o tempo e o desconto sobre os pagamentos futuros que a empresa fará a Niccol. Além disso, enquanto o aumento no valor da empresa reflete uma expectativa do mercado sobre a competência de Niccol, o salário é algo “certo”. Mesmo assim, parece que a remuneração generosa de Niccol representa apenas uma pequena fração do aumento no valor de mercado.

Outro fato interessante é que, enquanto trabalhava como CEO da Chipotle, Niccol elevou o valor das ações de 6 para 56 dólares. Com o anúncio de sua contratação pela Starbucks, as ações da Chipotle caíram de 56 para 52 dólares, resultando em uma perda de 5,5 bilhões de dólares no valor de mercado. Parece que o desempenho de Niccol tem um impacto significativo, e seu valor pode estar entre 5,5 bilhões e 19 bilhões de dólares. Ou, usando seu salário anual de 15 milhões de dólares, a 5% em perpetuidade, o valor atual de seu salário seria de aproximadamente 300 milhões de dólares.

Efeito ChatGPT e habilidades

 

Anúncio do Correio Paulistano, de 1891

Um pequeno texto no site Behavioral Economics procura chamar a atenção para como nossas habilidades irão evoluir na era do ChatGPT. A ideia é bastante intuitiva e faz sentido se pensarmos nas recentes revoluções tecnológicas e como elas mudaram a forma como nos comportamos.

Quando não tínhamos uma calculadora para realizar cálculos aritméticos, saber as operações de somar, subtrair, multiplicar e dividir era uma habilidade desejável. Admirávamos quem tinha rapidez de cálculo e, também, a partir de nossa criatividade, inventamos regras que facilitavam nossa vida. Talvez alguém se lembre da regra da multiplicação do nove, onde o resultado seguia uma evolução de 0 a 8 para a casa das dezenas e de 9 a 1 para a casa das unidades. Assim, 9x2 era 18, e para saber 9x3 bastava somar um na casa das dezenas e subtrair um na casa das unidades: 1+1=2 e 8-1=7; ou 9x3=27. Parece uma regra boba, mas esses truques facilitavam nossa vida. Quando a calculadora se tornou acessível, essas regras perderam relevância. Você provavelmente já acessou a calculadora do celular para fazer uma conta simples como 5x6 ou algo assim, pois já deixou de ocupar seu cérebro com esse tipo de conhecimento.

Esse exemplo simples serve para mostrar que a tecnologia tem uma influência sobre nosso comportamento e sobre as habilidades que valorizamos. Em trinta anos, tivemos a popularização de mapas e sistemas de navegação, que substituíram os mapas impressos e a parada em postos de combustíveis para perguntar onde ficava determinado local. Hoje, basta abrir o GPS e inserir o endereço para recebermos instruções sobre como chegar a um destino com um grau de acerto muito próximo a 100%. Mas essa facilidade tem um custo. Se sempre seguirmos a indicação do GPS, deixamos de experimentar novos caminhos ou de escolher rotas mais agradáveis. Uma recomendação típica para quem deseja manter a mente ativa é variar o caminho que faz para o trabalho; o uso do GPS é conveniente demais na hora de tomar essa decisão. Pesquisas mostram que o uso do GPS piora nossa memória espacial e nossa habilidade de navegação. Esse seria o "efeito GPS".

Outra mudança de atitude está no "efeito Google". No passado, ficávamos admirados com a memória das pessoas em termos de fatos, dados e conhecimento geral. Temos lembrança de alguém próximo que sabia as capitais de todos os países ou era capaz de dizer a data de um evento histórico importante. Mas tudo isso pode ser obtido facilmente com uma pesquisa no Google. Não sabemos qual é a capital do Casaquistão, mas basta “dar um google” para obter a resposta. É engraçado como, em muitas conversas, surge uma dúvida que interrompe a discussão até que alguém traga o resultado do Google. Então, esquecemos qual é o nome da capital do Casaquistão, mas isso não é relevante, já que podemos recuperar a informação rapidamente na internet.

Yael Mark questiona como o ChatGPT pode mudar algumas de nossas habilidades. Como o mecanismo tem uma grande gama de usos, os efeitos também podem ser amplos. A ferramenta pode resumir um artigo, corrigir erros em um texto, melhorar o estilo da redação, fazer um parecer, etc. Se isso economiza tempo, liberando-nos para outras atividades, "deixamos de exercer nossa capacidade de nos expressar por escrito", entre outros casos. Optar por usar a velocidade e a aparente precisão da ferramenta diminui nossa habilidade de buscar originalidade e questionamento. Se no Google pedimos informações sobre um tópico, na inteligência artificial pedimos a resposta, sem praticar nossa habilidade. Eis a conclusão de Mark:


Um assistente de IA como o ChatGPT tem um grande potencial, mas também pode levar ao “Efeito ChatGPT”, onde nossos cérebros se tornam menos motivados para manter as habilidades diárias que são tratadas pela IA. A luz de como as tecnologias passadas nos mudaram, é importante estar ciente dos possíveis impactos do uso do ChatGPT e preservar nossas habilidades de escrita e ideação ou expressão. Continuar a praticar a escrita e visualizar cada correção como uma oportunidade de aprendizado pode nos ajudar a usar o ChatGPT para melhorar nossas habilidades, em vez de substituí-las. Ao usar o ChatGPT como uma ferramenta para construir nossas habilidades, e não apenas como um robô de escrita que faz nosso trabalho sujo, podemos abraçar a tecnologia como asas que podem construir nosso músculo voador, em vez de um pára-quedas que o atrofia.

Aprendendo com o esporte

De Tim Harford

(...) o esporte de alto desempenho espera aprender com os geeks, há também a possibilidade de que os geeks possam aprender com o esporte. O esporte é muito mais restrito do que a vida, o que ajuda os cientistas sociais a procurar respostas claras e nítidas para perguntas preocupantes sobre como indivíduos e equipes se comportam.

O economista Ignacio Palácios-Huerta vem fazendo esse argumento há muitos anos e publicou recentemente um documento de trabalho intitulado “The Beautiful Dataset”, pesquisando um amplo cenário de tópicos econômicos que foram abordados usando dados do esporte.

(...) Outro exemplo é se um mercado livre tende a reduzir a discriminação injusta. Pode, em teoria: afinal, recusar-se a contratar pessoas boas com base em raça ou gênero não é apenas repugnante, mas um vício caro. Mas na prática? É difícil de dizer.

A história do beisebol oferece uma pista: depois de 1947, as equipes da liga principal foram autorizadas a contratar jogadores negros. Muitos gerentes desdenharam essa ideia. Aqueles que eram mais abertos poderiam contratar bons jogadores negros de forma barata e ganhar uma vantagem na liga. Será que eles fizeram? A resposta, de acordo com um estudo de 1974: sim. . . mas com lentidão ultrajante.

O pênalti no futebol é um ótimo exemplo da simplicidade de algumas situações esportivas. A maioria dos atacantes terá um lado mais forte, mas favorecê-lo demais é se tornar previsível. O atacante pode apontar para o lado mais fraco em vez disso. Então, o atacante deve apontar para a esquerda, ou para a direita? E já que o goleiro tem que adivinhar para onde mergulhar, para onde eles devem seguir?

A situação, argumenta Palacios-Huerta, é perfeita para testar uma base da teoria dos jogos: o teorema do Minimax, provado pelo brilhante matemático John von Neumann em 1928. Depois de olhar para centenas, e depois milhares, de pênaltis, Palacios-Huerta concluiu que tanto os atacantes quanto os goleiros jogam de acordo com a estratégia teórica ideal, equilibrando perfeitamente a vantagem da imprevisibilidade e a vantagem de favorecer o lado mais forte.

Declínio do uso de informações contábeis no crédito

Declínio do uso de informações contábeis na concessão de crédito. Eis o resumo:

Usando um conjunto de dados que abrange 3 milhões de demonstrações financeiras de mutuários comerciais, documentamos um declínio substancial, quase monotônico, no uso de demonstrações financeiras atestadas (DFA) pelos bancos em empréstimos ao longo das últimas duas décadas. Duas forças de mercado ajudam a explicar essa tendência. Primeiro, os avanços tecnológicos fornecem aos credores acesso a uma variedade crescente de fontes de informações sobre mutuários que podem substituir as DFA. Segundo, os bancos estão cada vez mais competindo com credores não bancários, que dependem menos das DFA na triagem e monitoramento. Nossos resultados ilustram como a adoção de tecnologia e as mudanças na estrutura do mercado de crédito podem tornar as DFA menos eficientes do que fontes de informação alternativas para triagem e monitoramento.

Aqui o artigo original.

Iluminação Pública e Crime: Menos Luz Pode Ser Mais Eficiente?

Um longo artigo da The Atlantic (Turn Down the Streetlights) discute se existe uma associação entre a iluminação pública e a atividade criminosa. O senso comum costuma nos dizer que, em locais onde há uma boa iluminação, o número de roubos e furtos reduz substancialmente. Assim, o estado, ou as empresas de concessão pública, deveriam instalar postes de iluminação para reduzir a atividade criminosa. Parece bastante adequado, e algumas pesquisas conduzem a esse resultado. Uma meta-análise (https://onlinelibrary.wiley.com/doi/full/10.4073/csr.2008.13) publicada em 2008 sugere que realmente existiria uma relação entre as duas variáveis. Contudo, a pesquisa indicou que não é a iluminação a responsável pelo resultado, mas o que ela representa em termos de orgulho da comunidade e controle social informal. Um projeto da cidade de Nova York instalou holofotes em 15 conjuntos habitacionais e recebeu uma avaliação adequada do NBER (https://www.nber.org/system/files/working_papers/w25798/w25798.pdf).

A questão é que existem impactos secundários causados pela iluminação, como a privação do sono e os efeitos sobre o meio ambiente. O fato de os estudos serem localizados, muitas vezes em comunidades mais pobres, também não ajuda. Existem pesquisas, em Calgary e no Reino Unido, que mostram que o efeito da iluminação pode não existir ou ser inverso ao esperado. O texto desafia a crença comum de que mais luzes nas ruas reduzem crimes, mesmo que os resultados sejam contraditórios. Talvez, nesse caso, menos iluminação possa, em alguns contextos, ser mais eficiente.

Ao ler o texto, pensei que o financiamento de um grande estudo, mesmo que experimental, poderia ser muito interessante para os cofres públicos. Através de uma ampla pesquisa, se chegarmos à conclusão de que "menos é mais", isso pode representar, no longo prazo, uma grande economia de recursos públicos.