Projecto Strawberry da OpenAI pode ser lançado este ano. O que se sabe do LLM que pode abrir caminho à AGI?

A OpenAI está a desenvolver um novo LLM, o Strawberry, com capacidades de raciocínio avançadas que deverá alimentar a próxima geração do ChatGPT e pode ser lançada neste outono. A empresa está também a procurar investidores. O que se sabe mais até agora?

Pexels | Matheus Bertelli

O Projeto Strawberry é o nome de código dado ao mais recente modelo de linguagem de grande dimensão (LLM) da OpenAI, dona do ChatGPT em julho. Numa primeira fase o projeto tinha o nome de código Q* (Q star, ou estrela Q) e chegou a gerar polémica, tendo alegadamente sido uma das razões para o afastamento de Sam Altman da empresa.

Antecipa-se que vá ultrapassar largamente as capacidades dos atuais sistemas de ponta com capacidade de raciocínio avançada, semelhantes às humanas quando for lançado. Poderá também alimentar a próxima geração de GPT, mas a OpenAI mantém o segredo sobre o novo LLM.

A OpenAI deverá investir sete mil milhões de dólares em formação e inferência no projeto Strawberry que é um passo rumo à primeira Inteligência Geral (AGI, na sigla em inglês) do mundo. A empresa está a procurar investimento adicional para desenvolver essa superinteligência, numa nova ronda liderada pela Thrive Capitol que avalia a empresa em mais de 100 mil milhões de dólares, e que captar investimento junto de outras empresas e não do habitual investidor Microsoft.

O Projeto Strawberry terá capacidade de raciocinar, de resolver problemas matemáticos originais, de criar estratégias de marketing ou de resolver desafios de palavras complexos como os publicados diariamente pelo Connections do New York Times. Alegadamente poderá navegar autonomamente na Internet e fazer pesquisas profundas, como revelou a Reuters, em julho.

A Reuters diz ainda que a arquitetura do Strawberry é semelhante à técnica Self-Taught Reasoner (STaR), desenvolvida em Stanford em 2022, que permite que um modelo gere dados de treino com os quais se afina, tornando-se mais competente ao longo do tempo. A agência noticiosa alega ter tido acesso a documentos com detalhes sobre o projeto e frisa o contacto com vários especialistas, depois do acesso aos dados, que confirmaram o potencial deste tipo de avanço.

O nome de código Strawberry (morango) é uma referência interna da OpenAI escolhida para manter o secretismo durante o desenvolvimento deste novo modelo. É uma evolução de um projeto anterior, que, no início deste ano, mostrou que a tecnologia já tinha condições para responder a “perguntas complicadas de ciência e matemática”, disseram fontes que tiveram acesso às demonstrações, em julho. 

Recorde-se que numa primeira fase o projeto tinha o nome de código Q* e terá estado na origem da demissão do diretor-executivo, Sam Altman, em novembro de 2023, dias depois de vários investigadores da OpenAI terem enviado uma carta ao conselho de administração que alertava para os perigos de um novo algoritmo e para a falta de salvaguardas no desenvolvimento dessa AGI. Passaram a ter fundamento os, até agora míticos, receios relativos a uma IA avançada que se desenvolve sem o controlo humano. No entanto, as queixas não abrandaram a vontade da OpenAI de desenvolver uma AGI na próxima década.

Não há, para já, detalhes sobre o que a empresa tenciona fazer a seguir. Se vai continuar os desenvolvimentos, ou se vai integrar a tecnologia rapidamente num produto comercial, como, por exemplo, o próximo ChatGPT. O blog The Information noticiou que o LLM Strawberry poderá ser lançado no outono, embora não haja certeza.