Para demonstrarem os riscos destes ecossistemas, os investigadores criaram um worm, chamado Morris II, que é capaz, por exemplo, de atacar assistentes de email com IA generativa para roubar informação e enviar mensagens de spam, assim como contornar as medidas de segurança de chatbots como o ChatGPT da OpenAI ou o Gemini da Google para realizar ações maliciosas.

De acordo com a investigação, um dos elementos centrais desta nova ameaça são prompts adversariais capazes de se replicarem por si próprios. Ao contrário de um comando normal, que faz com que o sistema responda com um output de dados, este tipo de prompt gera como resposta outros comandos.

Além disso, este tipo de comandos faz com que o sistema seja capaz de realizar atividades maliciosas, criando outputs que exploram a interconectividade do ecossistema de IA generativa para infectar outros sistemas.

No estudo a equipa realça que o propósito do seu trabalho não é argumentar contra o desenvolvimento, implementação ou integração de capacidades de IA generativa, nem gerar pânico em relação a uma ameaça que pode levantar mais dúvidas no que toca à adoção desta tecnologia.

“O objetivo do estudo é apresentar uma ameaça que deve ser levada em conta durante o desenvolvimento de ecossistemas de IA generativa e cujo risco deve ser avaliado durante a implementação de ecossistemas de IA generativa”, explicam os investigadores.

O estudo alerta também para a implementação de arquiteturas em ecossistemas de IA que podem abrir a porta a novas ameaças, motivo pelo qual os investigadores notificaram a OpenAI e a Google, apresentando as suas conclusões.