Como funciona a “mente” de um modelo de IA? Esta ferramenta da Anthropic ajuda a descobrir

Desenvolvida a pensar, sobretudo, nos investigadores, a nova ferramenta da criadora do Claude é Open Source e, através de gráficos interativos, mostra os passos que os modelos de IA seguem para gerar respostas.

A Anthropic já tinha dado a conhecer mais sobre como pensa o Claude, apresentando um novo método para identificar padrões de atividade e fluxos de informação no modelo de linguagem de grande escala (LLM, na sigla em inglês) que “alimenta” o chatbot. 

Agora, a empresa anuncia que esta ferramenta passa a estar disponível em formato aberto, dando a investigadores e a todos os interessados a possibilidade de explorarem o que se passa na “mente” dos modelos de IA. 

A Anthropic explica que o projeto surge numa altura em que o desenvolvimento da IA avança a uma velocidade estonteante, no entanto, o nosso entendimento acerca dos mecanismos internos da tecnologia ainda é limitado. 

A ferramenta, desenvolvida pelos investigadores da empresa, recorre a gráficos interativos, ou “attribution graphs”, para mostrar os passos seguidos por um modelo para gerar uma determinada resposta. 

Anthropic | Circuit Tracer

Através destes gráficos é possível compreender, por exemplo, que palavras ou conceitos é que um modelo considera mais relevantes, que elementos influenciam as suas decisões e o que pode alterar os resultados gerados. 

Além do modelo usado no chatbot Claude, os investigadores da Anthropic já usaram este método para analisar o comportamento de modelos abertos como o Gemma-2-2b da Google ou o LLaMA-3.2-1b da Meta, indica a tecnológica. 

Como pensa o Claude da Anthropic? Veja o vídeo

Todos os interessados em descobrir mais sobre o que se passa na  “mente” de um modelo de IA podem explorar a ferramenta da Anthropic através da plataforma Neuronpedia. Os mais curiosos podem consultar todo o repositório do projeto no GitHub.