IA tem de continuar a “pensar” em linguagem humana apelam gurus e explicam porquê

Um grupo de personalidades destacadas na área da inteligência artificial publicou um artigo a alertar para a importância de preservar uma técnica de monitorização dos modelos de IA que analisa o raciocínio por trás da decisão. Dizem que é fundamental para a segurança.

Algumas das figuras mais destacadas da inteligência artificial juntaram-se para subscrever um artigo onde defendem mais investigação sobre um tipo específico de monitorização dos modelos de IA, que permite analisar a forma como estes “raciocinam” até chegar a um determinado resultado.

O artigo é assinado por mais de 40 cientistas da academia e de empresas como a OpenAI, a Google DeepMind, a Anthropic ou a Meta, que consideram o método, conhecido como monitorização da cadeia de pensamento (CoT, na sigla em inglês), um contributo valioso para conhecer e melhor o processo de decisão dos modelos de IA e consequentemente melhorar a segurança dos resultados.

Defendem que investigadores e criadores de IA devem por isso preservar a capacidade de monitorização da CoT nos seus modelos e vê-la como uma componente crítica da segurança global do modelo. O artigo recomenda mesmo que o requisito se torne um princípio para a formação e implementação de novos modelos.

“Os sistemas de IA que ‘pensam’ em linguagem humana oferecem uma oportunidade única para a segurança da IA: podemos monitorizar as suas cadeias de pensamento para detetar a intenção de se comportarem mal”, escreveram os autores do artigo.

Como sublinha o artigo, estes modelos são treinados para “realizar um raciocínio alargado em CoT antes de tomar medidas ou produzir resultados finais” e estes “pensamentos em voz alta”, passo a passo, criam uma espécie de memória de trabalho para resolver tarefas complexas.

Monitorizar essas cadeias de pensamento ajuda os investigadores a detetar sinais de que os modelos começam a explorar falhas, a manipular dados ou a ser vítimas de manipulação com intenções maliciosas por parte de quem os usa. É mais um recurso para melhorar a segurança dos modelos, útil para compensar as falhas de outros.

“Todos os métodos de monitorização e supervisão têm limitações que permitem que alguns comportamentos incorretos passem despercebidos”, assumem os autores. “A monitorização CoT constitui um complemento valioso às medidas de segurança para a IA de fronteira, oferecendo um raro vislumbre da forma como os agentes de IA tomam decisões”, referem, mesmo admitindo que “não há garantia de que o atual grau de visibilidade se mantenha”. É também isso que justifica o incentivo à comunidade para que “faça o melhor uso da monitorização da CoT e estude de que forma esta pode ser preservada”.

Co-fundadores da OpenAI como John Schulman e Ilya Sutskever, ou Geoffrey Hinton, Prémio Nobel, e conhecido como “Padrinho da IA”, estão entre os especialistas que apoiam o artigo, como refere o próprio paper.

A monitorização das CoT dos modelos de raciocínio é feita por empresas como a OpenAI, no ChatGPT. A tecnológica já revelou, por exemplo, que usa estas técnicas quando identifica na linha de “pensamento” dos modelos a frase “Let's Hack” (vamos piratear).

Teme-se que o foco excessivo na aprendizagem por reforço, que dá prioridade aos resultados corretos e não à forma como se chegou a eles e antecipam um futuro em que os modelos evoluem para deixar de utilizar raciocínios que os humanos conseguem compreender.