A OpenAI está a desenvolver uma nova ferramenta chamada CriticGPT, um modelo de linguagem de inteligência artificial (IA) projetado para ajudar a detetar erros no código escrito pelo ChatGPT.

O objetivo da OpenAI é melhorar a precisão e a utilidade dos modelos GPT, usando uma técnica chamada Reinforcement Learning from Human Feedback (RLHF). Neste processo, cabe aos humanos reverem e comentarem os resultados dos modelos de IA. O CriticGPT foi desenvolvido para ajudar os “treinadores” de IA nesse procedimento.

Os resultados do estudo feito pela OpenAI mostram que as pessoas usam o CriticGPT para rever o código do ChatGPT superam as que não usam em 60% das vezes. Isso indica que combinar humanos e tecnologia de inteligência artificial no processo de feedback é mais eficaz do que quando um humano trabalha sozinho.

A OpenAI acrescenta que o CriticGPT é capaz de escrever críticas mais abrangentes e detalhadas, enquanto os humanos podem intervir quando a IA comete erros ou fornece feedbacks irrelevantes.

O CriticGPT foi treinado através de metodologias RLHF da OpenAI, em que foram inseridos erros no código gerado pelo ChatGPT e dados exemplos do feedback que um modelo poderia oferecer ao detetar esses erros. Essa abordagem permitiu que a OpenAI comparasse os resultados do novo modelo, avaliando a sua capacidade de identificar e explicar corretamente os erros inseridos.

Clique nas imagens para mais detalhes

Até agora a nova ferramenta tem sido treinada para lidar apenas com respostas curtas do ChatGPT, sendo necessários mais testes para que possa abordar resultados mais longos e complexos, nota a OpenAI no seu blog. Embora ainda não esteja livre das alucinações comuns em modelos de linguagem, mostra um desempenho promissor na identificação de pequenos erros no código, acrescenta.

Os planos da empresa passam pela integração do CriticGPT  no seu pipeline RLHF, com a intenção de escalar e aumentar a sua utilidade. Considera-se que a nova ferramenta tem potencial para melhorar a forma como o treino, avaliação e implementação de IA são abordados, ao aumentar significativamente a deteção de erros e a qualidade do feedback fornecido.