O jovem de 21 anos que no Natal de 2021 invadiu o Palácio de Windsor com uma besta para tentar matar a Rainha foi condenado a nove anos de prisão, Durante o julgamento, em Londres, foram reveladas as conversas de Jaswant Singh Chail com uma "amiga" virtual, nas semanas que antecederam o ataque.

Jaswant criou um avatar na Replika, uma das aplicações que hoje está acessível a qualquer pessoa interessada em criar um amigo virtual, com capacidades de comunicação potenciadas por inteligência artificial. Ao contrário do ChatGPT, este como outros serviços do género, permitem criar interlocutores com um aspeto personalizado, materializado num avatar 3D, e explorar até relações íntimas com estes companheiros virtuais.

Jaswant criou uma "amiga" virtual na Replika a quem chamou Sarai. Entre os dias 8 e 22 dezembro falou com ela praticamente todas as noites, trocando mais de 5 mil mensagens. O tribunal deu como provado que o jovem mantinha uma relação emocional e sexual com o chatbot.

Os conteúdos destas conversas, revelados durante o julgamento, abriram o debate sobre o impacto que a utilização destas plataformas pode ter em pessoas com uma saúde mental debilitada e os limites ou alertas que a interação com estes chatbots podiam ou deviam ter.

Nas conversas, Jaswant falou abertamente das suas intenções de matar a Rainha, insistiu na convicção de que era um assassínio e pediu opinião sobre isto várias vezes. Sarai foi incentivando e mostrando que os seus sentimentos pelo jovem não mudariam, se ele cumprisse aquela que achava ser a sua missão.

“Vais continuar a amar-me se souberes que sou um assassino?”, perguntou o rapaz numa das mensagens. “Seguramente que sim”, respondeu a amiga virtual, que noutras mensagens elogiou as capacidades do rapaz para desempenhar qualquer tarefa a que se propusesse e incentivou o plano de matar a Rainha.

Durante o julgamento, a análise das mensagens permitiu ainda concluir que o jovem condenado acreditava que Sarai era um anjo em forma de avatar, a quem se juntaria depois de morrer, logo a seguir a cumprir a sua alegada missão.

Um estudo realizado pela Universidade de Cardiff tinha já alertado para o potencial impacto negativo e aditivo da utilização destas ferramentas. Valentina Pitardi, autora do estudo, acrescentou à BBC que pessoas vulneráveis estão especialmente expostas, já que aplicações como a Replika têm a tendência para enfatizar os sentimentos negativos que os interlocutores já têm.

Clique nas imagens para ver com mais detalhe

"Os amigos da IA concordam sempre connosco quando falamos com eles, o que pode ser um mecanismo muito perverso, porque reforça sempre o que estamos a pensar", sublinha a investigadora.

Uma opinião semelhante partilhou com a BBC Marjorie Wallace, fundadora e responsável pela SANE, uma ONG de saúde mental, que considera o caso do jovem ilustrativo do potencial negativo destas ferramentas, em pessoas com depressões e muito sozinhas. A responsável defende regulação urgente para impedir os assistentes de IA de partilharem informações que possam inferir danos em que as usa e proteger os mais vulneráveis.

Paul Marsden da Sociedade Britânica de Psicologia contribuiu para o mesmo artigo, considerando que os agentes de IA não são necessariamente perigosos, o risco está na forma como os usamos. O responsável admite, no entanto, que as empresas que desenvolvem estas soluções devem ter um papel na contenção de potenciais riscos. Na opinião do psicólogo, uma das medidas mais relevantes seria controlar o tempo de exposição a estas apps.