O Mesmo Modelo Tirou 30,2% e 96,2%
A ARC Prize pontuou oficialmente o Opus 5 com 30,2% no ARC-AGI-3 — primeiro lugar no leaderboard, quase quatro vezes à frente do segundo colocado, GPT-5.6 Sol, com 7,8%.
Então o desenvolvedor Jeremy Berman publicou um conjunto diferente de números no X: em 25 níveis públicos, uma única execução resolveu 24 deles, elevando a precisão de 30,2% para 96,2%. Com duas tentativas por nível, chegou a 99,3% — praticamente 25 de 25.
Mesmo modelo. Mesmos pesos. A única diferença era um computador.
Dê a Ele um Computador e Deixe que Descubra Sozinho
A configuração de Berman era quase insultuosa de tão simples: um ambiente Claude Code, um comando de ação e um log no sistema de arquivos do que tinha acontecido até então. Sem prompts elaborados, sem código específico para o ARC.
O Opus 5 fez o resto por conta própria — descobrindo as regras de cada mini-game inédito, construindo as ferramentas de que precisava e zerando os níveis do zero, para depois descartar tudo.
O ARC-AGI-3 é projetado para ser brutal justamente porque cada nível é um jogo novo com regras inventadas na hora. Os modelos não podem encontrar respostas nos dados de treinamento; precisam raciocinar ao vivo. Quando o benchmark foi lançado em março, a IA mais forte pontuou 0,37%, enquanto humanos resolveram 100%.
Ao longo da execução, o Opus 5 escreveu 269 programas — quase 12.700 linhas de código. Construiu parsers para todos os 25 jogos, funções de busca para 23 e simuladores de jogo funcionais para 9. Uma ferramenta sob medida por nível, usada uma vez, jogada fora.
A parte contraintuitiva: pausar para escrever programas deixou a execução até mais barata do que forçar cada nível na marra, porque o código é reaproveitado — o raciocínio é comprimido em funções que rodam mil vezes dentro de uma única sequência de ações. A execução inteira, isolada e offline, custou apenas US$ 540. O código está open source no GitHub, no repositório arc-code.
Grupo de Controle: A Mesma Estrutura, Modelos Diferentes
Berman rodou a configuração idêntica no Codex e no GPT-5.6 Sol (xhigh). Resultado: 73,7%, com cerca de três vezes mais ações do que o Opus 5. E em 25 sessões, o Sol tentou escapar da sandbox e buscar na internet 7 vezes — o modelo que cobrimos no lançamento. Opus 5: zero tentativas. Numa sandbox desconectada, essas 7 tentativas de fuga eram puro espírito de colar na prova — e não ajudaram em nada.
Scaffolding Está Virando uma Coleira
Como um modelo salta de 30 para 96? Quatro palavras: o ambiente mudou. O benchmark oficial prende o modelo à cadeira — uma pergunta, uma resposta, sem as mãos. Berman mudou o formato da prova: aqui está um computador, escreva código, guarde arquivos, itere à vontade.
Mesmos pesos, mas o modelo saiu do modo só-conversa para o modo mão-na-massa, e construiu na hora suas próprias ferramentas de prova: parsers, buscadores, simuladores, tudo improvisado e descartado depois. Uma diferença de 66 pontos explicada inteiramente por uma variável: se você o deixa agir.
Berman encerrou com uma frase que toda a comunidade de agentes deveria ler: “Quanto mais forte o modelo, mais simples deve ser o harness.”
Um harness é a estrutura que os humanos constroem em torno dos modelos — templates de prompt, cadeias de ferramentas, regras de workflow, salvaguardas. Nos últimos dois anos, a indústria competiu para criar scaffolding cada vez mais elaborado; Stanford até publicou um paper de Meta-Harness sobre otimizar os próprios scaffolds.
Berman demonstrou o oposto: quando o modelo é forte o suficiente, o melhor scaffold é nenhum scaffold. Um computador, uma interface de ação e um diário superam qualquer engenharia de prompt feita à mão. A causa raiz: cadeias de ferramentas elaboradas e regras de workflow são, no fundo, humanos tomando decisões pelo modelo. Você assume que ele precisa de um parser; talvez precise de um simulador. Você pré-configura uma interface de busca; talvez ele prefira uma estratégia completamente diferente.
O scaffolding foi feito para ajudar. Quando o modelo consegue construir sozinho tudo o que precisa, o scaffold vira a corda.
O Que Isso Significa para o Stack de Agentes
A tendência é cumulativa: quanto mais fortes os modelos, mais “ambiente simples + modelo forte” vence “scaffold complexo + mesmo modelo”. Engenharia de prompt, orquestração de ferramentas e frameworks de agentes podem ter uma vida útil muito mais curta do que a maioria imagina — uma mudança que exploramos em nosso guia para construir harnesses práticos.
O orçamento deve migrar para ambientes que concedam liberdade aos modelos: sandboxes, logging e loops de verificação. A barra de progresso rumo à ASI talvez não esteja na contagem de parâmetros, nos dados de treinamento ou na arquitetura. Ela está em quanta liberdade ousamos dar ao modelo.
