Harness Supera o Modelo: A Variável Real no Desempenho de Agentes de IA

Comece pela visão consensual: a capacidade de um agente é uma propriedade do modelo. Quer um agente de programação melhor? Espere o próximo lançamento. Essa suposição fazia sentido em 2023, quando os modelos de fronteira eram separados por abismos enormes.

Ela não sobrevive mais ao contato com os números.

No SWE-bench Verified, seis modelos de fronteira — Claude Opus 4.5 e 4.6, Gemini 3.1 Pro, MiniMax M2.5, GPT-5.4 e Sonnet 4.6 — agora pontuam entre 79,6% e 80,9%. Todo o intervalo é de 0,8 ponto percentual. Isso não é competição; é convergência. Na fronteira, a sala de máquinas virou commodity.

Agora, mantenha o modelo constante e mude apenas o harness. O mesmo Claude Opus 4.5 pontua 45,9% no SWE-bench Pro dentro do SEAL, um scaffold padronizado. Coloque os mesmos pesos dentro do Cursor e ele alcança 50,2%. Dentro do Claude Code, 55,4%. Mesmo modelo, mesmo benchmark, quase 10 pontos de oscilação — produzidos inteiramente pelo software ao redor do modelo.

A tese deste artigo: a variável de primeira ordem no desempenho de agentes migrou do modelo para o harness. Isso não é uma peculiaridade de medição. Redireciona onde o valor se acumula na indústria — para quem controla a camada de execução, enquanto o modelo em si se torna um componente intercambiável.

A Pontuação Nunca Foi Propriedade Exclusiva do Modelo

O padrão é sistemático, não anedótico:

No Terminal-Bench 2, mudar apenas o harness eleva o pass@1 do mesmo modelo de 69,7% para 77,0%.
Relatórios de monitoramento de benchmarks de terceiros registram oscilações apenas de scaffold de até 11 pontos para o GPT-5 e 15 pontos para o Kimi K2 Thinking no SWE-bench Verified.
O Holistic Agent Leaderboard (HAL) registrou lacunas próximas de 48 pontos percentuais para o mesmo modelo sob diferentes scaffolds.
O caso mais impressionante: o Grok Code Fast saltou de 6,7% para 68,3% em benchmarks de programação mudando uma única coisa — o formato com que sua ferramenta de edição retornava resultados ao modelo. Sem retrainamento, sem pesos novos. Uma mudança no formato de saída de ferramenta produziu uma melhoria de 10x.

Um position paper de maio de 2026 no arXiv formaliza isso como a Binding Constraint Thesis: em tarefas de longo horizonte, a variância de desempenho é regida mais pela configuração do harness do que pela escolha do modelo, e os protocolos de avaliação atuais atribuem sistematicamente ao modelo ganhos que pertencem ao harness.

Por que isso é estrutural e não incidental? Porque um agente é um sistema de malha fechada, e o modelo é de malha aberta.

A cada passo, o modelo vê apenas a projeção de contexto que o harness escolhe alimentar. Ele não tem memória entre passos a menos que o harness injete uma. Ele não tem mecanismo de autocorreção além do caminho de feedback construído pelo harness. Estabilidade, deriva de contexto e atraso de controle — as três grandezas que determinam a confiabilidade de longo horizonte — são todas propriedades do controlador do harness. Fazer upgrade do modelo reduz a taxa base com que os erros aparecem; não faz nada por como o sistema responde depois que eles aparecem.

Sistemas de malha aberta não ficam confiáveis com atuadores maiores. Ficam confiáveis com controle por feedback.

Teste de Estresse: O Modelo é Irrelevante?

Um framework honesto precisa sobreviver aos próprios contraexemplos.

Modelos ainda importam. Dentro do mesmo harness (Claude Code), o Opus 5 pontua 51,8% no Terminal-Bench 4.0, enquanto o Sonnet 5 alcança 12,4% — um abismo. E a convergência de 0,8 ponto é interna à fronteira; modelos de segunda linha ainda estão atrás dos líderes.

Então a afirmação precisa é em camadas:

Dentro da fronteira, os modelos convergiram e o harness é a única alavanca restante.
Fora da fronteira, o modelo ainda é o preço de entrada — mas um bom harness permite que um modelo mais barato vença um modelo flagship. O Confucius Code Agent, da Meta e de Harvard, rodou o Claude Sonnet 4.5 — um modelo bem mais barato que o Opus 4.5 — com seu scaffold customizado, e pontuou 52,7% no SWE-bench Pro. Isso superou o Opus 4.5 rodando no próprio scaffold da Anthropic, com 52,0%.

Um modelo mais barato numa carcaça melhor venceu um modelo flagship numa carcaça medíocre. Isso importa mais que a estatística de convergência: o harness não está apenas definindo o teto, ele já está reescrevendo o ranking.

O Framework: Motor, Veículo, Pista

Imagine a indústria em três camadas: o modelo é o motor, o harness é o veículo, e benchmarks e distribuição são a pista.

A economia dos motores está repetindo um século da história automotiva. Motores já foram o núcleo da vantagem competitiva; viraram componentes commodity. Nenhum consumidor hoje troca de marca por 0,8 cavalo-vapor a mais. Os compradores escolhem pelo veículo: dirigibilidade, segurança, serviço. O mercado de agentes está entrando na mesma fase — seis motores idênticos, e a disputa migrou para o carro.

O fosso do harness é mais profundo que o fosso do modelo, por três razões:

Custo de iteração assimétrico. Melhorar um modelo exige pretraining ou post-training — meses e dezenas de milhões de dólares. Melhorar um harness é engenharia de software comum — dias, ao custo de salários de engenheiro. O ganho de 10x do Grok Code Fast provavelmente custou menos que um dez-milésimo de um treinamento de modelo.
O loop de dados vive no harness. Trajetórias, padrões de recuperação de erros e sinais de preferência são gerados e acumulados na camada do harness. A equipe do Codex da OpenAI entregou cerca de 1.500 PRs mesclados — aproximadamente um milhão de linhas de código — em cinco meses com três engenheiros, não por meio de um modelo mais forte, mas restringindo os agentes a uma sequência fixa: tipos, config, repositório, serviço, runtime, UI. Essas restrições são ativos do harness.
Os custos de troca ficam do lado do harness. APIs de modelos são padronizadas e instantaneamente intercambiáveis. O harness carrega seus fluxos de trabalho, memória, permissões e hábitos da equipe — é aí que mora o lock-in real.

Isso gera uma afirmação testável — chamemos de Lei do Fosso do Harness: quando uma camada vira commodity, o valor migra para a camada adjacente que controla os dados de feedback e os custos de troca. Para agentes, essa camada é o harness.

Verificações Cruzadas: O Framework Além da Programação

Avaliação e pesquisa. Variância de scaffold de dois dígitos significa que qualquer leaderboard de agentes que não divulga seu harness mede uma mistura, enquanto convida a uma leitura de modelo único. Pesquisadores já estão empurrando padrões de divulgação: ou travar um harness para todos os modelos, ou tratar a escolha do harness como fator controlado e reportar componentes de variância. A próxima onda de investimento em infraestrutura de avaliação pertence aos benchmarks de harness, não a mais um ranking de modelos.

Compras corporativas. A pergunta de seleção muda de “qual modelo compramos” para “qual harness executamos”. Duas equipes com o mesmo orçamento: uma faz upgrade do harness e mantém o modelo fixo; a outra persegue lançamentos de modelos. Aposte na primeira. As perguntas certas aos fornecedores não são mais “quais modelos vocês suportam”, mas “qual é a sua estratégia de compactação de contexto, seus caminhos de recuperação de erros e seu loop de verificação?”

Fornecedores de modelos. Por que a Anthropic investe tão pesadamente no Claude Code, e a OpenAI no Codex CLI? Porque quando o motor vira commodity, os fabricantes de motores precisam ocupar a posição do veículo ou ver a margem ser capturada à sua montante. Os lançamentos de modelos estão mudando silenciosamente o discurso de “nosso modelo é mais forte” para “nosso modelo dentro do nosso harness é mais forte” — porque o segundo é o produto vendável.

Pesos abertos e geopolítica. Modelos de pesos abertos (incluindo as famílias GLM e DeepSeek) enfrentam custos de capital enormes para alcançar a fronteira na camada do modelo. Mas um ecossistema de harnesses abertos pode colocar qualquer motor aberto numa boa carcaça — e o Confucius é a prova de conceito. Os controles de exportação miram o motor; os projetos do veículo estão nas mãos de desenvolvedores no mundo todo.

O Que Fazer Com Isso

Se você constrói produtos de agentes: inverta sua ordem padrão de engenharia. Esgote primeiro as otimizações de harness — recuperação paralela, recuperação estruturada de erros, compactação agressiva de contexto, separação de planejamento e execução, retentativas com orçamentos decrescentes — e trate upgrades de modelo como a última alavanca. A maioria das equipes está muito longe da fronteira do que seu modelo atual pode fazer dentro de um harness melhor.
Se você conduz compras: avalie com comparações de mesmo modelo entre harnesses e ignore pontuações absolutas de fornecedores. Exija divulgação do harness. Seis harnesses numa tarefa que você realmente se importa superam seis modelos numa tarefa brinquedo.
Se você é pesquisador: cite pontuações de agentes com seus harnesses anexados, e trate o harness como um fator de igual patamar ao modelo em ablações. O comportamento de citação direciona o fluxo de incentivos.
Se você é fornecedor de modelos: o fosso não é o próximo checkpoint. Trate os loops de dados de trajetórias e sua linha de produtos de harness como ativos estratégicos de primeira classe — ou aceite o assento de menor margem na cadeia de veículos de outra pessoa.

A Conclusão

“Modelo como motor, harness como veículo” não é uma metáfora; é uma leitura estrutural dos dados de benchmark de 2026. A convergência de 0,8 ponto na camada do motor marca o fim da corrida de pesos com retornos decrescentes. As oscilações de 10 a 48 pontos na camada do harness marcam a nova arena principal.

Da próxima vez que alguém perguntar qual modelo usar, a resposta certa é: me diga qual harness você planeja executar — porque é isso que decidirá o resultado.