Modelos avançados de IA preferem dar respostas erradas a admitir que não sabem

Se nas versões anteriores os modelos de inteligência artificial admitiam quando não conseguiam responder, pedindo mais informação ou reconhecendo as suas limitações, os novos tendem mais a “inventar”, até mesmo com perguntas fáceis.

Freepik | Freepik

Os modelos de inteligência artificial mais recentes são apontados como menos confiáveis, por serem menos transparentes e menos inclinados a admitir quando não sabem a resposta a uma pergunta que lhes coloquem, segundo um novo estudo conduzido por investigadores da Universitat Politècnica de València.

A equipa testou a precisão dos Large Language Models (LLM) com milhares de perguntas de matemática, ciências e geografia. As respostas dos modelos foram classificadas em três categorias: corretas, incorretas ou esquivas e embora os novos modelos tenham apresentado melhor desempenho em problemas complexos, houve uma queda na transparência.

Se nas versões anteriores admitiam quando não conseguiam responder, pedindo mais informação ou reconhecendo as suas limitações, os novos modelos de inteligência artificial como o GPT-4 tendem mais a “inventar”, até mesmo com perguntas fáceis.

“Embora os novos modelos sejam mais precisos em questões desafiadoras, falham em perguntas básicas. Não há uma melhoria aparente na confiabilidade total, nem mesmo em níveis de dificuldade baixos”, destaca o estudo.

O GPT-4, por exemplo, reduziu drasticamente a quantidade de respostas esquivas em comparação ao GPT-3.5, mas isso não resultou numa maior precisão.

O estudo sugere que, à medida que os LLM evoluem, o tamanho, volume de dados e capacidade de processamento aumentam, mas a expansão pode estar a comprometer a confiabilidade. De acordo com os autores, "a expectativa de que modelos mais recentes evitassem respostas fora do seu desígnio não se confirmou".

Os investigadores concluem que, apesar dos avanços na tecnologia, os novos LLM ainda não garantem segurança em suas respostas e ressaltam a importância de mudanças no design e desenvolvimento dessas inteligências artificiais, especialmente em áreas de alto risco, onde a previsibilidade dos erros é crucial.