
A OpenAI lançou a ferramenta SWE-Lancer, apontando ser um benchmark mais realista para avaliar a performance do código dos modelos de IA. A plataforma inclui mais de 1.400 tarefas de software de engenharia freelance da Upwork, que a dona do ChatGPT avaliou em 1 milhão de dólares em pagamentos.
A ferramenta abrange tanto as tarefas independentes de engenharia, pagando 50 dólares por correções de bugs a 32 mil dólares pela implementação de funcionalidades e tarefas de gestão. Estas tarefas independentes são classificadas com testes end-to-end de verificação tripla por engenheiros de software experientes. Já as decisões de gestão são avaliadas em relação às escolhas dos gestores de engenharia contratados originalmente.
A dona do ChatGPT diz que avaliou a performance e descobriu que os modelos de topo ainda não são capazes de resolver a maioria das tarefas. Para facilitar futuras investigações, a empresa diz que disponibilizou o sistema de imagem unificada Docker, em open-source e um sistema de avaliação pública, o SWE Lancer Diamond no GitHub.
No estudo publicado, a empresa diz que em apenas dois anos, os modelos de linguagem avançaram desde resolver problemas de computação científica básica até ganhar medalhas de ouro em competições internacionais de programação. Em comparação, quando a OpenAI revelou o benchmark SWE-Bench Verified em agosto de 2024, o GPT-4o registou uma pontuação de 33%. Atualmente, o modelo mais racional o3 obteve 72%.
Ficou assim patente que eram necessárias avaliações não saturadas que refletissem a complexidade da engenharia de software do mundo real. A empresa espera que à medida que a investigação e desenvolvimento da IA continue a acelerar, também os benchmark que avaliam rigorosamente devem fazer.
Pergunta do Dia
Em destaque
-
Multimédia
Microsoft: 50 anos de história e os marcos da empresa que redefiniu o software na computação pessoal -
App do dia
ColorSlurp: Não encontra a cor certa? Esta app dá uma ajuda nos projetos criativos -
Site do dia
Encontre o tipo de letra ideal para os seus projetos online com a Free Faces -
How to TEK
Instagram muda layout e substitui quadrados por retângulos nos perfis. Como se adaptar ao novo formato?
Comentários