Páginas

28 fevereiro 2024

Mais da metade do conteúdo da internet foi gerado por IA

Eis o abstract: 

We show that content on the web is often translated into many languages, and the low quality of these multi-way translations indicates they were likely created using Machine Translation (MT). Multi-way parallel, machine generated content not only dominates the translations in lower resource languages; it also constitutes a large fraction of the total web content in those languages. We also find evidence of a selection bias in the type of content which is translated into many languages, consistent with low quality English content being translated en masse into many lower resource languages, via MT. Our work raises serious concerns about training models such as multilingual large language models on both monolingual and bilingual data scraped from the web.

O artigo é proveniente de funcionários da Amazon e pode ser encontrado aqui. O gráfico a seguir mostra o resultado por língua (português, pt, na parte esquerda)


O impressionante é que das frases analisadas, 57,1% foram traduzidas para dois ou mais idiomas. A cada tradução, a qualidade piora. Os pesquisadores acreditam que um texto básico de inglês é usado para outros idiomas e este material é traduzido cada vez mais. E como a IA depende de material de boa qualidade para treinamento, o que temos hoje talvez seja ruim para os algoritmos mais avançados. 


Nenhum comentário:

Postar um comentário