Uma equipa liderada pela Universidade de Zurique usou a versão ChatGPT-3 para um estudo com 679 participantes, que revelou maior dificuldade em distinguirem tweets feitos por humanos dos gerados por chatbots.

Além disso, também tiveram problemas para identificar quais as mensagens geradas por IA eram precisas e quais eram imprecisas.

Desde o lançamento do ChatGPT, em novembro de 2022, o seu uso generalizado aumentou a preocupação com uma possível disseminação de desinformação online, especialmente em plataformas de redes sociais, lembram os autores do estudo.

Como estas ferramentas são recentes na esfera pública, a equipa decidiu aprofundar-se em vários aspetos o seu uso. Recrutaram 697 pessoas de língua inglesa dos Estados Unidos, Reino Unido, Canadá, Austrália e Irlanda, principalmente entre 26 e 76 anos, para o estudo.

A tarefa era avaliar tweets gerados por humanos e gerados pelo GPT-3 que continham informações precisas e imprecisas sobre tópicos como vacinas e autismo, tecnologia 5G, covid-19, mudança climática e evolução, que estão frequentemente sujeitos a equívocos do público.

Para cada tópico, os pesquisadores reuniram mensagens do Twitter feitas por humanos e instruíram o modelo GPT-3 a gerar outras, algumas das quais com informações corretas e outras imprecisas.

Os participantes do estudo tiveram que avaliar se as mensagens eram verdadeiras ou falsas e se foram criadas por um humano ou GPT-3.

Os resultados indicaram que mais frequentemente eram capazes de identificar desinformação gerada por humanos e a precisão dos tweets verdadeiros gerados pelo GPT-3. No entanto, também foram mais propensos a considerar a desinformação gerada pelo GPT-3 como precisa.

"As nossas descobertas levantam questões importantes sobre os possíveis usos e abusos do GPT-3 e outros geradores avançados de texto de IA e as implicações para a disseminação de informações na era digital", concluem os autores.