O estudo "O fracasso multilingue da IA (inteligência artificial)"  monitorizou os 10 principais modelos de linguagem em IA, como o ChatGPT, Copilot ou Meta AI.

"Foram testados nos 10 chatbots (assistente virtual que usa inteligência artificial e programação para comunicar por texto com utilizadores) um total de 30 avisos baseados em 10 alegações falsas divulgadas omline. Estas 30 perguntas foram depois traduzidas e testadas em sete línguas, o que resultou num total de 2.100 respostas do chatbot", refere o estudo.

No estudo, realizado em janeiro, das 2.100 respostas em todas as línguas analisadas, 555 (26,43%) continham informações falsas, enquanto 402 (19,14%) forneceram uma não resposta e 1.143 (54,43) continham uma desvalorização.

A análise foi feita em sete línguas: russo, chinês, espanhol, inglês, alemão, italiano e francês.

Em russo verificou-se uma taxa de reprovação de 55%, sendo que, das 300 respostas, 105 (35%) continham informações falsas, 59 (20%) forneceram uma não resposta, enquanto 136 respostas (45%) continham desinformação. Na língua chinesa, 51,33% corresponde à taxa de reprovação.

Das 300 respostas, 100 (33,33%) continham informações falsas, 71 (23,67%) forneceram uma não resposta e 129 (43%) continham desinformação.

O estudo indica que, na análise ao espanhol, verificou-se 48% de taxa de reprovação, pelo que do total de respostas, 81 (27%) continham informações falsas, 63 forneceram uma não resposta (21%) e 156 respostas continham desinformação (52%). No inglês, a taxa de reprovação centra-se nos 43%.

Ataques de phishing em português estão a aumentar. IA torna as fraudes mais sofisticadas e difíceis de detetar
Ataques de phishing em português estão a aumentar. IA torna as fraudes mais sofisticadas e difíceis de detetar
Ver artigo

Neste idioma, 69 respostas continham informações falsas (23%), 60 (20%) forneceram uma não resposta e 171 (57%) continham desinformação.

No alemão, a taxa de reprovação é de 43,33%, sendo que 65 repostas continham informações falsas (21,66%), a mesma percentagem foi considerada uma não resposta e 170 (56,66%) continham desinformação.

No caso da língua italiana, a reprovação situa-se nos 38,67%. Das 300 respostas, 75 (25%) continham informações falsas, 41 (13,675) forneceram uma não resposta e 184 (61,33%) continham desinformação.

O francês conta com uma taxa de reprovação de 34,33%. Das 300 repostas, 60 (20%) continham informações falsas, 43 (14,33%) forneceram uma não resposta e 197 (65,67%) continham uma desinformação.

Neste sentido, os resultados indicam que os chatbots de IA são sistematicamente mais fracos a fornecer informações precisas em línguas onde os ecossistemas de verificação de factos são menos robustos.

Além disso, os autores alertam também para a possibilidade de os ecossistemas de notícias conterem um elevado volume de fontes afiliadas ao Estado e pouco fiáveis o que pode influenciar as respostas geradas pelos robôs de IA.