Um Modelo, Dois Resultados com 36 Pontos de Diferença
Em 3 de setembro, o ARC Prize publicou um novo resultado no ARC-AGI-3 que merecia muito mais manchetes. O mesmo modelo — GPT-6 Astra, com o mesmo esforço de raciocínio — pontuou 62,7% em um harness padrão e, depois, 98,6% em um harness de Provider Adapter.
Leia de novo: esta não é uma comparação entre dois modelos. É o mesmo cérebro fazendo o mesmo exame duas vezes, com uma diferença de 35,9 pontos. E o detalhe contraintuitivo: a configuração com pontuação mais alta também foi mais barata — de cerca de US$ 26.100 para US$ 17.300, uma redução de custo de 34%.
Alguns dias depois, o YC realizou um Paper Club intitulado “Por que o Harness Importa Mais do que o Modelo”, conduzido pelo parceiro do YC François Chaubard, com Seth Karten (Prime Intellect), Jon Saad-Falcon (Stanford) e os próprios Josh France e Regan Bell, do YC. Pesquisadores diferentes, a mesma obsessão: tudo girava em torno do modelo.
A maior parte da cobertura trata isso como uma curiosidade de benchmark. É algo bem mais sério: o campo de batalha decisivo na IA está mudando de “quem tem o modelo mais forte” para “quem consegue organizar melhor os modelos”. A capacidade dos modelos está se tornando um pressuposto. Em condições idênticas, agentes ainda diferem em 36 pontos. Esses 36 pontos são o espaço de valor do harness — e o fosso competitivo mais subprecificado do setor.
O Modelo Define o Teto; o Harness Decide se Você o Alcança
Um harness, literalmente, é o arreio que se coloca num cavalo para transmitir sua força à carroça. Em termos de IA, é todo o framework operacional em torno de um modelo: como o system prompt é escrito, como o contexto é organizado, quais ferramentas estão disponíveis, onde a memória vive, como os sub-agentes dividem o trabalho. O modelo decide quão inteligente é o cérebro; o harness decide o que esse cérebro tem nas mãos enquanto trabalha.
Chaubard viveu essa mudança. Em março, ao testar o projeto de pesquisa automatizada do Karpathy, ele inicialmente só queria uma interface para observar o que o agente estava fazendo. Então busca, experimentos, revisão, escrita e gerenciamento de progresso foram sendo integrados — e ele percebeu que havia construído, sem querer, um harness completo. Agora ele entrega ao sistema uma direção de pesquisa e uma métrica de avaliação, e vários agentes trabalham incansavelmente. Os modelos nunca mudaram. As entregas só melhoravam.
Vale notar o estigma: ajuste de prompts, encanamento de ferramentas e loops de tarefas foram por muito tempo considerados trabalho de segunda classe no machine learning — engenharia, não pesquisa de verdade. Essa camada “servil” agora move os resultados diretamente.
Não é que os modelos tenham ficado mais fracos. É que, uma vez que ficaram fortes, as lacunas restantes vivem todas fora do modelo.
Três Degraus: Do Ajuste de Prompt à Reescrita do Próprio Harness
A otimização de harness está subindo uma escada clara. Três degraus importam.
Primeiro, otimização automatizada de prompts. Sistemas como o DSPy testam diferentes formulações de prompt e escolhem as vencedoras com base em resultados de teste — transformando o ajuste de prompts de um ofício em um problema de busca.
Segundo, reescrever o próprio código do harness. O Darwin Gödel Machine (DGM) não apenas ajusta prompts; ele edita o próprio código do framework do agente e mantém a versão que pontua melhor. Nos experimentos do artigo, ele elevou o desempenho no SWE-bench de 20% para 50% — mais que o dobro, com o modelo inalterado.
Terceiro, acumulação de experiência. O Continual Harness permite que agentes revisem registros de tarefas passadas e decidam se devem revisar prompts, adicionar habilidades, atualizar memória ou reconfigurar sub-agentes. Lições de execuções anteriores começam a ser incorporadas na próxima versão.
A fronteira agora avança mais: retreinar com os próprios dados recém-gerados pelo agente, até mesmo atualizar pesos em tempo de teste. A fronteira de otimização está migrando do harness para o modelo — a fronteira entre harness e modelo está se dissolvendo.
Dê um nome a essa dinâmica: arbitragem da camada de orquestração. À medida que os modelos convergem em capacidade, quem operacionaliza a camada acima deles extrai mais valor entregue do mesmo modelo pelo mesmo preço. Estruturalmente, lembra o manual da era da nuvem: o modelo é o compute, o harness é a camada de orquestração — e historicamente os lucros se estabelecem na orquestração.
Três Provas: Agentes de Longo Prazo, IA Local e a Empresa
O framework se justifica em três cenários bem diferentes.
Tarefas de longo prazo. O Prime Agent da Prime Intellect se recusa a roteirizar cada passo. Em vez disso, ele faz um camadas de informação: o que importa agora vai para o contexto; programas, resultados e progresso vivem em um REPL persistente; memória de longo prazo e habilidades ficam em armazenamento externo. A equipe rodou um agente no Factorio por sete dias seguidos — 633 chamadas de sub-agentes, mais de 23 milhões de tokens de saída — completando 24 de 196 tecnologias e levando a próxima a 71%. Em certo momento, o progresso despencou de cinco tecnologias completadas para uma. O sistema não apagou tudo e recomeçou; o agente replanejou a partir do estado preservado. Para trabalho de longo prazo, o ativo central não é o plano. É a continuidade.
IA pessoal local. O OpenJarvis, de Stanford, quer levar a IA pessoal para o seu próprio dispositivo, mas os modelos locais estão cerca de 6 a 12 meses atrás dos modelos de fronteira em capacidade. O experimento direto da equipe: trocar o Claude Opus 4.6 pelo Qwen3.5-9B nas configurações do OpenClaw e do Hermes Agent, sem mudar mais nada — a precisão caiu 24,8 e 38,8 pontos em dois benchmarks. Então eles otimizaram o sistema inteiro em cinco camadas, deixando o modelo na nuvem analisar casos de falha e ajustar a configuração local, enquanto o modelo local cuida da operação diária. Resultado: Qwen3.5-9B inalterado, mas o sistema recuperou cerca de 56% e 77% dessas perdas. Em oito benchmarks, a melhor configuração local obteve em média 80,3%, contra 83,5% do Opus 4.6 — uma diferença de 3,2 pontos — a cerca de 1/800 do custo marginal de API da nuvem.
A empresa. O YC já rodou mais de 50 Hermes Agents em máquinas virtuais, cada um configurado individualmente, cada sessão de depuração um processo de login na máquina. O harness interno deles, o QM, centraliza conversas e estado, enquanto as máquinas virtuais se tornam recursos sob demanda. A escala então revelou três problemas mais difíceis. Agentes confundem problemas locais com globais — a equipe chama de “síndrome do protagonista”, e ainda bloqueia tais mudanças com revisão humana. Agentes desistem cedo demais — o YC criou um “Grind Tool” que impõe tempo mínimo de execução ou orçamento de tokens. E o mais difícil: permissões. Um agente que lê o Slack tem acesso a um contexto que ele não entende bem o suficiente para repassar. A resposta atual do YC: bancos de dados como somente leitura por padrão, escritas exigindo aprovação humana — embora, à medida que a confiança cresce, a aprovação humana risque virar mera formalidade.
Os três convergem para uma ressalva: o harness amplifica a capacidade que já existe; ele não a conjura. O mesmo harness da Prime pontuou 95,5% com o Claude Opus 5 no conjunto público do ARC-AGI-3 — e 25,7% com o Terra. Quase 70 pontos de diferença, mesmo harness, cérebro diferente. O modelo ainda é a fundação. A diferença, cada vez mais, é construída sobre ela.
O Que Fazer: Mova Orçamento de Trocas de Modelo para Trabalho de Harness
Por dois anos, a indústria apostou quase tudo nos modelos. A alavancagem mais barata agora está em outro lugar. Dependendo do seu lugar na mesa:
- Se você é um tomador de decisões técnicas: faça uma auditoria de baseline do harness antes da próxima troca de modelo. Teste o mesmo modelo em dois harnesses, como o ARC-AGI-3 fez. Se a diferença for menor que 5 pontos, sua camada de orquestração nunca foi seriamente otimizada — esse costuma ser o maior almoço grátis disponível.
- Se você constrói agentes: torne o camadas de informação a arquitetura padrão — o contexto guarda apenas o que é atual, o estado vive em um ambiente persistente, a memória fica em armazenamento externo. E imponha orçamentos mínimos por tarefa (o padrão Grind Tool) para que seu agente não se renda na terceira tentativa.
- Se você implanta agentes em empresas: resolva permissões antes de capacidade. Bancos de dados somente leitura por padrão e escritas com aprovação humana são o mínimo — mas projete contra a fadiga de aprovação desde já, com re-revisão humana amostrada em operações de alto risco, em vez de cliques automatizados sem critério.
- Se você é fundador: não lute na camada do modelo. A janela da arbitragem de orquestração é agora. No dia em que os modelos convergirem por completo, a diferença de harness se torna a diferença inteira do produto.
O modelo decide quão rápido você pode ir. O harness decide se você consegue continuar indo — e até onde.
