Um Modelo, Dois Harnesses, uma Diferença de 36 Pontos
Em 3 de setembro, a ARC Prize publicou um conjunto estranho de resultados para o ARC-AGI-3, um dos benchmarks de raciocínio mais difíceis disponíveis. O mesmo modelo — GPT-6 Astra, com o mesmo esforço de raciocínio — foi executado em dois harnesses diferentes. No harness padrão, obteve 62,7%. No harness Provider Adapter, obteve 98,6%.
A curva de custos é ainda mais contraintuitiva. A execução com pontuação mais alta gastou menos: de aproximadamente US$ 26.100 para US$ 17.300, uma redução de 34%.
O cérebro não mudou. Apenas a forma como ele trabalhava mudou — e o agente efetivamente se tornou um sistema de outro nível.
Dias depois, a YC promoveu uma sessão do Paper Club intitulada “Por Que o Harness Importa Mais do Que o Modelo”, com pesquisadores da Prime Intellect, de Stanford e da própria YC. A conclusão principal cabe em uma frase: o campo de batalha decisivo na IA está mudando de “quem tem o modelo mais forte” para “quem consegue organizar melhor os modelos”.
Durante dois anos, quase toda a atenção — e quase todo o capital — foi destinada ao próprio modelo. Esse consenso pode estar se rompendo. A diferença que decide os vencedores está cada vez mais se formando fora do modelo.
O Que É um Harness e Por Que Ele Era Desprezado
“Harness” significa originalmente a arreiação que transmite a força de um cavalo a uma carroça. Na IA, é todo o framework de runtime que envolve um modelo em trabalho real: como os prompts de sistema são escritos, como o contexto é organizado, quais ferramentas podem ser chamadas, onde fica a memória, como os subagentes dividem o trabalho, como as sessões persistem.
Uma distinção útil: o modelo determina quão inteligente é o cérebro; o harness determina o que esse cérebro tem em mãos enquanto trabalha.
Esse tipo de trabalho foi por muito tempo considerado de segunda classe no aprendizado de máquina. Ajustar prompts, colar ferramentas, escrever loops de tarefas — parecia engenharia, não pesquisa. Ainda assim, essa camada desprezada agora move pontuações em 35,9 pontos. Essa diferença é o seu espaço de valor.
A experiência do parceiro da YC François Chaubard vale como nota de rodapé. Em março, enquanto testava o projeto de pesquisa automatizada do Karpathy, ele só queria uma UI para ver o que o agente estava fazendo. Busca, experimentos, revisão, escrita e gestão de progresso foram sendo conectados um a um — e ele percebeu que havia construído, sem querer, um harness completo. O modelo nunca foi atualizado. Os artigos continuaram melhorando.
O princípio é direto: o modelo define o seu teto; o harness determina se você consegue alcançá-lo.
A fronteira entre harness e modelo também está se dissolvendo. O DSPy transformou o ajuste de prompts de um ofício em um problema de busca. A Darwin Gödel Machine (DGM) edita diretamente o código do harness, elevando o SWE-bench de 20% para 50%. O Continual Harness incorpora lições de execuções anteriores na próxima versão. A otimização está avançando para dentro, do harness em direção aos próprios pesos do modelo.
Um Framework: as Três Camadas da Capacidade dos Agentes
Ao reunir as evidências dessa sessão, uma estrutura emerge. A diferença de capacidade entre agentes vive em três camadas, e as camadas externas são as mais negligenciadas:
Camada 1: o próprio modelo. Ela define o teto. Mas entre modelos de fronteira, essa camada está convergindo e cada vez mais se comporta como uma condição dada, e não como um diferencial.
Camada 2: como um único agente trabalha. Como o contexto é estruturado em camadas, como as ferramentas são organizadas, onde a memória fica. O Prime Agent, da Prime Intellect, é o exemplo: em vez de roteirizar cada passo, ele pratica “hierarquização de informações” — as informações atuais vivem no contexto, os programas e resultados persistem em um REPL em execução contínua, e a memória de longo prazo fica em armazenamento externo, recuperada sob demanda.
Camada 3: como uma frota de agentes é organizada. Implantação, gestão de estado, permissões. Essa camada só se revela quando os agentes entram nas empresas — e é onde as respostas são mais escassas hoje.
Uma ressalva crítica: um harness amplifica capacidades que um modelo já possui; ele não as cria. No ARC-AGI-3, o harness RHAE, da Prime, obteve 95,5% com o Claude Opus 5 — e apenas 25,7% com o Terra. Mesmo harness, modelo diferente, uma variação de quase 70 pontos. O modelo ainda é a fundação.
Testando o Framework em Três Cenários
Tarefas de longo prazo. A equipe da Prime executou um agente por sete dias consecutivos de Factorio, um jogo de automação brutalmente complexo. O sistema gerou 633 subagentes, produziu mais de 23 milhões de tokens de saída e completou 24 de 196 tecnologias. Em um certo momento, um erro grave derrubou o progresso de cinco tecnologias para uma. O sistema não apagou o estado e recomeçou — programas, recursos e registros sobreviveram, e o modelo replanejou a partir da nova situação. Em tarefas longas, o modelo decide o próximo movimento; o harness torna as decisões contínuas.
IA pessoal local. O OpenJarvis, de Stanford, executou um experimento limpo: trocar o Claude Opus 4.6 pelo Qwen3.5-9B dentro de uma configuração Hermes Agent, sem mudar nada mais, e a precisão em dois benchmarks caiu 24,8 e 38,8 pontos. Então, otimizaram apenas as cinco camadas ao redor do modelo — escolha do modelo, servindo, design do agente, ferramentas e memória, aprendizado contínuo — e recuperaram cerca de 56% e 77% da perda. Em oito benchmarks, a melhor configuração local teve média de 80,3% contra 83,5% do Opus 4.6, com quatro benchmarks empatados ou melhores — a cerca de um oitocentos avos do custo marginal da API e aproximadamente um quarto da latência. Os modelos pequenos não precisam alcançar completamente os grandes para que a IA local se torne viável. O harness fecha primeiro parte da diferença.
Empresas. A YC já executou mais de 50 Hermes Agents em máquinas virtuais, cada um configurado individualmente; depurar significava fazer login nas instâncias uma a uma. O harness interno deles, o “QM”, centraliza conversas, contexto e estado de longo prazo, transformando VMs em recursos que os agentes chamam sob demanda. Mas a escala expôs três problemas mais profundos. Primeiro, a “síndrome do personagem principal”: os agentes tratam a fatia que conseguem ver como o sistema inteiro e propõem mudanças que afetam tudo — a revisão humana ainda é necessária. Segundo, os agentes desistem cedo demais; a Grind Tool da YC impõe um tempo mínimo de execução ou um orçamento de tokens antes que um agente possa declarar falha. Terceiro, e o mais difícil, permissões: um agente dentro do Slack vê um enorme contexto, mas não consegue saber com segurança o que pode ser compartilhado com quem. A YC mantém a maioria dos acessos ao banco de dados somente leitura, com confirmação humana para escritas — embora, à medida que a confiança cresce, a aprovação humana corra o risco de se degradar em uma mera formalidade. O próximo gargalo empresarial não é capacidade. É um harness capaz de executar uma frota e realmente governá-la.
Em outras palavras, a camada do modelo está se comoditizando enquanto a camada de orquestração acumula valor. O padrão não é novo: na era da nuvem, vender servidores e construir orquestração (Kubernetes) eram trabalhos de empresas diferentes; na era móvel, chips e sistemas operacionais se dividiram em duas camadas. A IA está repetindo o mesmo processo — o valor da camada de orquestração acaba de ser quantificado pela primeira vez por um placar do ARC-AGI-3.
Há também uma consequência prática para as empresas: quando 50 agentes rodam dentro de uma mesma empresa, operações e permissões são, por si só, capacidades de produto. Quem domina a terceira camada vence o contrato corporativo — um ponto que vale registrar para qualquer equipe que vende produtos de agentes.
O Que Fazer Com Isso
As ações variam conforme o papel:
- Decisores técnicos: avaliem a qualidade do harness junto com as pontuações do modelo. O mesmo modelo varia 36 pontos entre harnesses; comparar apenas benchmarks de modelos ignora a maior variável. Antes de pagar por um modelo mais forte em tarefas longas, verifique se a gestão de contexto e a persistência de estado são o verdadeiro gargalo.
- Construtores de agentes: relaxem o controle. Modelos mais fortes merecem menos fluxos roteirizados, não mais. Preparem os recursos — informações hierarquizadas, um REPL persistente, memória externa — e deixem o modelo escolher seu caminho. Protejam contra falhas prematuras com orçamentos mínimos, em vez de “tentar três vezes”.
- Líderes de equipe: não adiem as permissões até que algo quebre. Definam limites de somente leitura e fluxos de confirmação de escrita antes que os agentes toquem no Slack ou em bancos de dados, e assumam que a revisão humana se corroerá — projetem mecanismos que não exijam vigilância permanente.
- Usuários sensíveis a custos: um modelo local pequeno com um bom harness pode já superar uma assinatura pura de modelo de fronteira em custo-benefício. Vocês não precisam esperar os modelos alcançarem os grandes.
Durante dois anos, a indústria competiu em quem tinha a fundação mais sólida. Os próximos dois anos serão decididos sobre ela. O modelo determina a rapidez com que você pode ir; o harness determina até onde.
Fontes: resultados do ARC-AGI-3 da ARC Prize; YC Paper Club, “Why the Harness Matters More Than the Model”; Prime Intellect (Prime Agent, RHAE); Stanford OpenJarvis; harness interno QM da YC — conforme compilado na cobertura da sessão pela 36Kr.
