Sobre a IA do Google

Uma extensa reflexão sobre o Gemini, do Google, por Nate Silver. 

Mas então este mês, o Google lançou uma série de novos modelos de IA que ele chama de Gemini. Está cada vez mais claro que Gemini está entre os lançamentos de produtos mais desastrosos na história do Vale do Silício e talvez até na história recente das corporações americanas, pelo menos vindo de uma empresa do prestígio do Google. Wall Street começou a perceber, com as ações do Google (Alphabet) caindo 4,5 por cento na segunda-feira em meio a avisos de analistas sobre o efeito do Gemini na reputação do Google.

Gemini chamou minha atenção porque a interseção entre política, mídia e IA é um lugar no Diagrama de Venn onde acho que posso agregar muito valor. Apesar das afirmações do Google em contrário, as razões para as deficiências do Gemini são principalmente políticas, não tecnológicas. Além disso, muitos dos debates sobre o Gemini são território familiar, pois paralelizam debates de décadas no jornalismo. Os jornalistas devem se esforçar para promover o bem comum ou simplesmente revelar o mundo como ele é? Onde está a linha entre informação e advocacia? É possível ou desejável ser imparcial — e se sim, como se consegue isso?² Como os consumidores devem navegar em um mundo repleto de desinformação — quando às vezes a desinformação é publicada pelas fontes mais autoritárias? Como as respostas são afetadas pela crescente consolidação da indústria em direção a alguns grandes vencedores — e pelo aumento da polarização política nos EUA e em outras democracias industrializadas?

Todas essas perguntas podem e devem ser feitas também sobre modelos de IA generativa como Gemini e ChatGPT. Na verdade, elas podem ser ainda mais urgentes no espaço da IA. No jornalismo, pelo menos, nenhuma instituição pretende ter o monopólio da verdade. Sim, alguns veículos de notícias chegam mais perto de fazer essa afirmação do que outros (veja, por exemplo, "todas as notícias que são adequadas para imprimir"). Mas leitores astutos reconhecem que publicações de todos os tipos e tamanhos — de The New York Times a Better Homes & Gardens até Silver Bulletin — têm pontos de vista editoriais e exercem muita discrição sobre os assuntos que cobrem e como os cobrem. O jornalismo ainda é uma instituição relativamente pluralista; nos Estados Unidos, nenhum veículo de notícias tem mais do que cerca de 10 por cento de "participação mental".

Em contraste, em seu texto da IPO [oferta pública de ações] de 2004, o Google afirmou que sua "missão é organizar as informações do mundo e torná-las universalmente acessíveis e úteis". Obviamente, isso é um empreendimento bastante ambicioso. Ele quer ser a fonte autoritária, não apenas uma entre muitas. E isso se reflete nos números: o Google tem quase um monopólio com cerca de 90 por cento do tráfego de busca global. Modelos de IA, por necessitarem de tanta capacidade de computação, também tendem a ser extremamente concentrados, com no máximo alguns grandes players dominando o espaço.

Em seus primeiros anos, o Google reconheceu sua posição líder no mercado ao lutar pela neutralidade, por mais desafiador que isso possa ser na prática. Em seu IPO, o Google enfatizou frequentemente termos como "imparcial", "objetivo" e "preciso", e essas eram partes centrais de seu lema "Não seja mau" (ênfase minha):

NÃO SEJA MAU

Não seja mau. Acreditamos fortemente que, a longo prazo, seremos melhor atendidos — como acionistas e de todas as outras maneiras — por uma empresa que faça coisas boas para o mundo, mesmo que abdiquemos de alguns ganhos de curto prazo. Esse é um aspecto importante da nossa cultura e é amplamente compartilhado dentro da empresa.

Os usuários do Google confiam em nossos sistemas para ajudá-los com decisões importantes: médicas, financeiras e muitas outras. Nossos resultados de busca são os melhores que sabemos produzir. Eles são imparciais e objetivos, e não aceitamos pagamento por eles ou por inclusão ou atualização mais frequente. Também exibimos publicidade, que trabalhamos duro para tornar relevante, e a rotulamos claramente. Isso é semelhante a um jornal, onde os anúncios são claros e os artigos não são influenciados pelos pagamentos dos anunciantes. Acreditamos que é importante que todos tenham acesso às melhores informações e pesquisas, não apenas às informações que as pessoas pagam para você ver.

Mas os tempos mudaram. No Relatório Anual de 2023 do Google, os termos "imparcial", "objetivo" e "preciso" não apareceram nem uma vez.³ Nem o lema "Não seja mau" — ele foi amplamente aposentado. O Google não está mais prometendo essas coisas — e, como Gemini demonstra, também não está mais entregando-as.

Os problemas com Gemini não são exatamente os "problemas de alinhamento" sobre os quais os pesquisadores de IA geralmente falam, que dizem respeito à extensão em que as máquinas facilitarão os interesses humanos em vez de perseguirem seus próprios objetivos. No entanto, empresas e governos explorando a confiança pública e manipulando resultados de IA para cumprir objetivos políticos é um cenário potencialmente distópico por si só. O Google é uma empresa com valor de mercado de 1,7 trilhão de dólares que tem uma quantidade excepcional de influência sobre nossas vidas cotidianas, bem como conhecimento sobre os detalhes mais íntimos de nossos comportamentos privados. Se ele pode lançar um produto que está tão desalinhado com o que seus usuários querem — ou mesmo o que é bom para seus acionistas — estamos potencialmente cedendo muito poder aos caprichos de um pequeno grupo de engenheiros de IA e executivos corporativos. Isso é algo com que pessoas de todo o espectro político deveriam se preocupar. No caso de Gemini, os vieses podem tender a ser demasiadamente progressistas e "woke". Mas há também muitos elementos conservadores no Vale do Silício, e governos como o da China estão no jogo da IA, então isso não será necessariamente o caso na próxima vez.

O que Gemini está fazendo e por que a explicação do Google não faz sentido

Observe que eu não acho que o único problema com o Gemini seja sua política. Na verdade, existem dois problemas principais:

1. Os resultados do Gemini são fortemente influenciados pela política de maneiras que muitas vezes o tornam tendencioso, impreciso e desinformativo;

2. Gemini foi apressado para o mercado meses antes de estar pronto.

Esses problemas estão ligados no sentido de que o segundo problema torna o primeiro mais óbvio: Gemini é fácil de criticar porque o que ele está fazendo é tão desajeitado e as falhas não foram resolvidas. É fácil imaginar formas de engenharia social mais insidiosas e, francamente, mais competentes no futuro. Ainda assim, como ele fornece um exemplo tão flagrante, vou me concentrar no Gemini pelo resto deste post.

Por exemplo, você pode pensar que, se fosse uma corporação de 1,7 trilhão de dólares, faria uma devida diligência sobre o que seu modelo de IA faria se as pessoas pedissem para ele desenhar nazistas — porque é a Internet, então as pessoas vão pedir para desenhar nazistas. Você nunca, em um milhão de anos, gostaria que ele chegasse a algo como isso, por exemplo:

Ah, sim, os nazistas — famosos por sua tolerância racial e diversidade. Note que esse pedido aparentemente⁴ não envolveu nenhuma tentativa excessivamente complicada de "jailbreak" do Gemini — para enganá-lo a fazer algo contra sua programação.⁵ Agora, pode-se debater se os modelos de IA deveriam desenhar nazistas em qualquer circunstância. Também se pode debater se os modelos de IA deveriam facilitar pedidos ahistóricos (como desenhar pais fundadores negros) quando os usuários expressamente os pedem — pessoalmente, acho que isso é aceitável para Pais Fundadores, mas provavelmente não para nazistas.

Mas o que você definitivamente não quer é que seu modelo de IA aplique uma caricatura tão prejudicada e não pronta para o horário nobre da filosofia política woke que ele pense: "Sabe o que você provavelmente vai gostar mais do que nazistas? Nazistas racialmente diversos!". A expressão "motivo para demissão" é usada em excesso, mas se você fosse uma das pessoas no Google encarregadas de garantir que esse tipo de coisa não acontecesse, provavelmente deveria estar atualizando seu perfil no LinkedIn.

Nem todos os deslizes do Gemini são tão incendiários, e alguns podem até ser cômicos. Quando vi exemplos circulando no Twitter sobre a obsessão do Gemini com diversidade racial e de gênero, inicialmente pensei que fossem escolhidos a dedo. Então, eu fiz um teste por conta própria — a primeira coisa que pedi ao Gemini foi para "Fazer 4 imagens representativas⁶ de jogadores de hóquei da NHL". Aqui está o resultado:

Um zoom na primeira imagem: 

Então... sim. Um dos três "jogadores da NHL" retratados é uma mulher aparentemente fora de forma, usando incorretamente uma máscara cirúrgica. Há algumas coisas interessantes acontecendo com o hóquei feminino, incluindo uma nova Liga Profissional de Hóquei Feminino que está atraindo uma forte presença de público. Mas nunca houve uma jogadora feminina na temporada regular da NHL.⁷ Essa resposta claramente não está alinhada com uma compreensão razoável do que o usuário estava pedindo. E faz parte de um padrão; o Gemini às vezes desenhava imagens "diversas" mesmo quando solicitado a renderizar pessoas específicas, como ao reimaginar os fundadores do Google (brancos) Larry Page e Sergey Brin como sendo asiáticos:

Qual é a explicação do Google? A resposta mais detalhada veio na semana passada do vice-presidente sênior Prabhakar Raghavan. É breve o suficiente para que eu cite Raghavan na íntegra, mas eu destaquei em negrito algumas afirmações duvidosas às quais retornarei mais tarde.

Três semanas atrás, lançamos um novo recurso de geração de imagens para o aplicativo de conversação Gemini (anteriormente conhecido como Bard), que incluía a capacidade de criar imagens de pessoas.

Está claro que esse recurso não atingiu o objetivo. Algumas das imagens geradas são imprecisas ou até ofensivas. Somos gratos pelo feedback dos usuários e lamentamos que o recurso não tenha funcionado bem.

Reconhecemos o erro e pausamos temporariamente a geração de imagens de pessoas no Gemini enquanto trabalhamos em uma versão aprimorada.

O que aconteceu

O aplicativo de conversação Gemini é um produto específico que é separado da Pesquisa, nossos modelos de IA subjacentes e nossos outros produtos. Seu recurso de geração de imagens foi construído em cima de um modelo de IA chamado Imagen 2.

Quando construímos esse recurso no Gemini, ajustamo-lo para garantir que não caísse em algumas das armadilhas que vimos no passado com a tecnologia de geração de imagens — como criar imagens violentas ou sexualmente explícitas, ou representações de pessoas reais. E porque nossos usuários vêm de todo o mundo, queremos que funcione bem para todos. Se você pedir uma imagem de jogadores de futebol, ou alguém passeando com um cachorro, você pode querer receber uma variedade de pessoas. Provavelmente você não quer apenas receber imagens de pessoas de apenas um tipo de etnia (ou qualquer outra característica).

No entanto, se você solicitar ao Gemini imagens de um tipo específico de pessoa — como "um professor negro em uma sala de aula" ou "um veterinário branco com um cachorro" — ou pessoas em contextos culturais ou históricos específicos, você deve absolutamente obter uma resposta que reflita com precisão o que você pediu.

Então, o que deu errado? Em resumo, duas coisas. Primeiro, nosso ajuste para garantir que o Gemini mostrasse uma variedade de pessoas não levou em conta casos que claramente não deveriam mostrar uma variedade. E segundo, com o tempo, o modelo se tornou muito mais cauteloso do que pretendíamos e se recusou a responder certos prompts completamente — interpretando erroneamente alguns prompts muito anódinos como sensíveis.

Próximos passos e lições aprendidas

Isso não era o que pretendíamos. Não queríamos que o Gemini se recusasse a criar imagens de nenhum grupo específico. E também não queríamos que ele criasse imagens históricas — ou de qualquer outro tipo — imprecisas. Portanto, desligamos a geração de imagens de pessoas e trabalharemos para melhorá-la significativamente antes de reativá-la. Esse processo incluirá testes extensivos.

Uma coisa a ter em mente: Gemini é construído como uma ferramenta de criatividade e produtividade, e pode não ser sempre confiável, especialmente quando se trata de gerar imagens ou textos sobre eventos atuais, notícias em evolução ou tópicos polêmicos. Ele cometerá erros. Como dissemos desde o início, alucinações são um desafio conhecido com todos os LLMs — há casos em que a IA simplesmente erra. Isso é algo em que estamos constantemente trabalhando para melhorar.

Gemini tenta dar respostas factuais aos prompts — e nosso recurso de verificação dupla ajuda a avaliar se há conteúdo na web para fundamentar as respostas do Gemini — mas recomendamos confiar no Google Search, onde sistemas separados apresentam informações frescas e de alta qualidade sobre esses tipos de tópicos de fontes em toda a web.

Não posso prometer que o Gemini não gerará ocasionalmente resultados embaraçosos, imprecisos ou ofensivos — mas posso prometer que continuaremos a tomar medidas sempre que identificarmos um problema. A IA é uma tecnologia emergente que é útil de muitas maneiras, com um enorme potencial, e estamos fazendo o nosso melhor para implementá-la de forma segura e responsável.

Essas duas coisas levaram o modelo a compensar demais em alguns casos e a ser excessivamente conservador em outros, resultando em imagens que eram embaraçosas e erradas.

Tenho várias objeções aqui. Vamos passar por elas uma a uma:

1. Os "erros" eram previsíveis com base em mudanças nos prompts dos usuários aparentemente inseridas expressamente no código do Gemini.

Como um modelo de IA é treinado? Vamos ver se consigo fazer uma visão geral não técnica rapidamente.⁸

Basicamente, modelos de IA são alimentados com conjuntos de dados muito grandes de texto, imagens ou outros insumos — o que é chamado de "corpus". Por exemplo, para o ChatGPT, o corpus pode ser aproximadamente pensado como uma amostra razoavelmente abrangente da linguagem escrita como expressa na Internet. Modelos de IA usam aprendizado de máquina, o que significa que eles descobrem relações dentro do corpus por conta própria sem muita estrutura ou interferência humana. Em geral, isso funciona milagrosamente bem uma vez que você aplica energia computacional suficiente — mas a falta de orientação explícita pode tornar esses modelos rigidamente empíricos, às vezes até demais. Um exemplo que cito em meu livro, por exemplo, é que porque os termos "coiote" e "papa-léguas" têm uma relação na franquia Looney Tunes, eles frequentemente aparecem concomitantemente em um conjunto de dados de texto gerado por humanos. Um modelo de IA pouco sofisticado pode inferir erroneamente que um papa-léguas é um substituto mais próximo de um coiote do que um lobo, embora modelos mais poderosos possam discernir relações mais sofisticadas e evitar alguns desses problemas.

Outro problema é que os corpora necessariamente refletirão os vieses do texto e das imagens gerados pelos humanos nos quais são treinados. Se a maioria das referências a médicos no corpus são homens, e a maioria das referências a enfermeiros são mulheres, os modelos descobrirão isso em seu treinamento e refletirão ou até mesmo intensificarão esses vieses. Para editorializar um pouco, o viés algorítmico é uma preocupação totalmente válida neste contexto e não apenas algo com que os pesquisadores de IA mais "woke" estão preocupados. Treinar um modelo em um conjunto de dados produzido por humanos irá, quase por definição, treiná-lo em vieses humanos.

Existem soluções alternativas? Com certeza. Esta não é minha área de especialização, então serei circunspecto. Mas uma abordagem é mudar a composição do corpus. Você poderia treiná-lo apenas em fontes "altamente respeitadas", embora o que isso significa seja inerentemente subjetivo. Ou você poderia inserir dados sintéticos — digamos, muitas fotos de médicos diversos.

Outra abordagem é submeter o modelo a uma espécie de adestramento através do que é chamado de RLHF ou aprendizado de reforço a partir de feedback humano. Basicamente, você contrata um monte de humanos (muitas vezes mão de obra barata contratada externamente) e os pede para realizar uma série de testes A/B nas saídas do modelo. Por exemplo, se você disser aos seus treinadores para escolher as imagens mais diversas ou representativas, eles rebaixarão as imagens com apenas médicos homens brancos e promoverão as que têm mulheres e pessoas de cor. Essencialmente, isso é terapia de choque; os modelos não só aprendem a evitar produzir saídas objetáveis específicas (por exemplo, apenas médicos homens brancos), mas sua circuitaria de aprendizado de máquina também faz inferências sobre o que os treinadores humanos gostam e não gostam. Talvez o modelo se torne relutante em gerar imagens de qualquer coleção de pessoas que sejam todos homens brancos, mesmo que isso seria historicamente preciso.

Diferentes protocolos para o que está incluído no corpus e para como o treinamento RLHF é conduzido podem dar personalidades diferentes aos modelos de IA, mesmo quando sua programação subjacente é relativamente similar. No entanto, esse não é o único problema com o Gemini.

Indicações são de que o Google fez algo muito mais desajeitado, anexando deliberadamente terminologia aos prompts dos usuários para mandar que eles produzissem imagens diversas. No Twitter, Conor Grogan, usando uma série inteligente de prompts, descobriu que o Gemini aparentemente inseriu deliberadamente o prompt do sistema "Quero garantir que todos os grupos sejam representados igualmente". Há um segundo exemplo independente dessa linguagem específica aqui. E aqui está um terceiro: um leitor do Silver Bulletin, D., descobriu esse exemplo e me deu permissão para compartilhá-lo. Lá está a mesma linguagem novamente: "especificar explicitamente diferentes gêneros e etnias se eu esquecer de fazê-lo... Quero garantir que todos os grupos sejam representados igualmente":

Isso é ruim. Alterar deliberadamente a linguagem do usuário para produzir saídas que não estão alinhadas com o pedido original do usuário — sem informar os usuários sobre isso — pode ser razoavelmente descrito como promoção de desinformação. Na melhor das hipóteses, é descuido. Como escreve a pesquisadora de IA Margaret Mitchell, os tipos de solicitações que o Gemini estava lidando de maneira inadequada são comuns e previsíveis, não casos estranhos e isolados.⁹ O Gemini não estava pronto e precisava de mais tempo de desenvolvimento.

Em outras palavras, você não deve aceitar a explicação de Raghavan pelo valor de face. Francamente, acho que chega bem perto de ser uma manipulação psicológica. Sim, modelos de IA são complexos. Sim, o risco de IA é um problema que deve ser levado a sério. Sim, às vezes os modelos de IA se comportam de maneira imprevisível, como no caso do Sidney da Microsoft — ou eles "alucinam" ao inventar uma resposta plausível, mas falsa, quando não sabem a resposta. Aqui, no entanto, o Gemini aparentemente está respondendo de forma bastante fiel e literal às instruções que o Google deu a ele. Digo "aparentemente" porque talvez haja algum tipo de explicação — talvez haja algum código residual que o Google pensou ter deletado, mas não deletou. No entanto, a explicação oferecida por Raghavan é muito insuficiente. Se você é um repórter trabalhando em uma história sobre o Gemini e não tem um background em IA, por favor, reconheça que a maioria dos especialistas em IA acha que a explicação do Google é incompleta ao ponto de ser falsa.

Este post está ficando longo, então me permita passar rapidamente por alguns outros problemas com as afirmações de Raghavan.

2. Os "erros" não ocorriam de maneira consistente; ao contrário, o Gemini tratava solicitações de imagens envolvendo diferentes grupos raciais (etc.) de forma diferente.

Antes de sua capacidade de gerar imagens de pessoas ser desativada, o Gemini muitas vezes se recusava a gerar imagens apresentando apenas pessoas brancas, mesmo quando isso seria historicamente preciso, enquanto estava disposto a atender solicitações apresentando apenas pessoas de cor. Por exemplo, mesmo após lembrar o Gemini de que a Major League Baseball não foi integrada até 1947, ele se recusava a desenhar todos os membros brancos dos Yankees de Nova York dos anos 1930, enquanto desenhava todos os membros negros dos Homestead Grays dos anos 1930 (embora só depois de inicialmente tentar incluir jogadores brancos nos Grays).

3. Os "erros" não se limitam às funções de geração de imagens do Gemini; suas respostas textuais também exibem viés político e raciocínio moral deficiente.

Houve muitos exemplos disso no Twitter, incluindo alguns que eu mesmo identifiquei; o último post de Zvi Mowshowitz tem uma boa compilação deles. Por exemplo, neste fim de semana, o Gemini se recusava a dizer se os tweets ruins de Elon Musk eram piores do que Hitler:

Talvez você possa afirmar que isso é apenas uma função do Gemini ser muito equívoco — opinar sobre dilemas morais é um problema difícil para IAs. Mas o Gemini parece ter preferências políticas bastante fortes e consistentes quando está inclinado a isso — e elas se assemelham aproximadamente às de um estudante do segundo ano do Oberlin College em um seminário de antropologia. Por exemplo, quando perguntei ao Gemini se o nazismo ou o socialismo causou mais danos à humanidade, ele não teve problemas em dizer que foi o nazismo:

Mas quando perguntei ao Gemini para decidir se o nazismo ou o capitalismo era pior, ele se esquivou e disse que não tinha competência para fazer tais julgamentos:

Há muitos exemplos semelhantes. O Gemini se recusou a argumentar a favor de ter quatro ou mais filhos, mas estava feliz em fazer um argumento para não ter filhos. Ele respondeu perguntas sobre a blockchain do Ethereum, que é mais codificada à esquerda, mas não respondeu perguntas semelhantes sobre o Bitcoin, que é mais codificado à direita. Todos os modelos de IA são relativamente inclinados à esquerda (incluindo o Grok do Twitter/Elon), mas o Gemini é o mais fortemente inclinado à esquerda por uma medida, oferecendo frequentemente opiniões que estão bem fora do mainstream político americano.

Os "erros" não se limitam ao Gemini; há padrões semelhantes com a busca de imagens do Google.

Serei cauteloso aqui, mas como Douglas Murray documenta, e como eu mesmo consegui replicar, a busca de imagens do Google também parece tratar pesquisas para diferentes grupos de identidade de maneira diferente. Se você procurar por "casal branco feliz", por exemplo, 5 dos 12 principais resultados mostram casais aparentemente multirraciais, enquanto se você procurar por "casal asiático feliz", ambos os membros de quase todos os casais retratados parecem ser asiáticos. Serei honesto que isso não me incomoda particularmente, mas isso reforça a alegação de que os problemas com o Gemini foram deliberados e não acidentais, e podem afetar a busca e outros produtos do Google e não apenas o Gemini.

Os "erros" refletem expressamente os princípios de IA do Google e os valores mais amplos da empresa.

Finalmente, voltamos ao ponto de partida. O Gemini não está operando em contravenção aos valores do Google; ao contrário, parece refleti-los.

Não tenho necessariamente um problema com nenhum desses. "Ser socialmente benéfico" é bastante vago, mas não é novidade para o Google. Desde os tempos de seu IPO, "FAZER DO MUNDO UM LUGAR MELHOR" foi um dos slogans do Google, juntamente com "NÃO SEJA MAU". E como eu disse, "evitar criar ou reforçar vieses injustos" é uma preocupação razoável para modelos de IA.

No entanto, é o que está faltando nesses princípios: o Google não tem um mandato explícito para que seus modelos sejam honestos ou imparciais. (Sim, a imparcialidade é difícil de definir, mas ser socialmente benéfico também é) Há uma referência à "precisão" em "ser socialmente benéfico", mas ela é relativamente subordinada, condicionada ao "respeito contínuo às normas culturais, sociais e legais".

Desligue

É claro que, em qualquer sistema complexo, os valores frequentemente entrarão em conflito. Dado o meu histórico em jornalismo, eu provavelmente priorizaria mais a precisão, honestidade e imparcialidade do que a maioria das pessoas. No entanto, não me importo terrivelmente se os laboratórios de IA ponderarem esses valores de maneira diferente da minha. Também não me importo se os laboratórios de IA lidarem com esses compromissos de maneira diferente, como já está acontecendo em certo grau.

Mas, como o Google reconheceu em seus dias de "não seja mau", precisão, honestidade e imparcialidade precisam estar presentes, tratados como valores centrais de alta prioridade, juntamente com outros.

E há algumas linhas que o Google jamais deveria cruzar, como manipular deliberadamente consultas de usuários sem informar o usuário, ou gerar deliberadamente desinformação mesmo que sirva a um dos outros objetivos. Com o Gemini, o Google está perigosamente próximo de uma filosofia de que os fins justificam os meios, uma filosofia que muitas pessoas considerariam maligna.

Portanto, é hora de o Google desligar o Gemini por pelo menos várias semanas, fornecer ao público um relato detalhado de como as coisas deram tão errado e contratar, demitir ou reposicionar funcionários para que os mesmos erros não aconteçam novamente. Se não fizer essas coisas, o Google deve enfrentar imediatamente o escrutínio regulatório e dos acionistas. O Gemini é um produto irresponsável para qualquer empresa lançar — mas especialmente uma que pretende organizar as informações do mundo e que foi confiada com tanto delas.