No último ano, os agentes de IA foram a área mais disputada do setor. Conecte um modelo, acople ferramentas, empilhe workflows — como se somar capacidades suficiente produzisse, naturalmente, um agente verdadeiramente autônomo.
Mas a realidade é que a maioria dos agentes é como um gênio com QI alto e mãos que não colaboram — o cérebro gira freneticamente, e os hashis não param de cair.
Então a indústria se acomodou em uma ansiedade coletiva: “o modelo ainda não é inteligente o suficiente. Espere a próxima versão.” Esse julgamento provavelmente estava errado desde o início. A Hugging Face realizou recentemente um experimento que deveria fazer toda a indústria parar e repensar: eles congelaram completamente os pesos de um modelo open-source — sem fine-tuning, sem treinamento continuado, sem alteração de parâmetros — e mudaram apenas o código de execução que envolve o modelo. O resultado? Mesmo modelo, mesmas tarefas: a pontuação composta saltou de 3,5% para 80,1%. Uma diferença de 76 pontos sem nada a ver com o modelo em si.
A Variável que Todos Ignoraram: o Harness
O engenheiro de ML da Hugging Face, Joel Niklaus, conduziu um experimento chamado “Don’t Train the Model, Evolve the Harness” (Não Treine o Modelo, Evolua o Harness). A operação foi deliberadamente contida: pegar o open-source DeepSeek-V4-Pro, testar em um benchmark de agentes jurídicos e variar apenas a lógica de execução que envolve o modelo — o Agent Harness. Nos testes iniciais, a pontuação foi de 0% em alguns Harnesses. Não porque o modelo não conseguia fazer o trabalho — ele salvava os resultados com o nome de arquivo errado e o programa de teste não conseguia lê-los. O 0% nunca mediu a inteligência do modelo. Mediu se o Harness salvava os arquivos no lugar certo.
Harnesses diferentes produziram resultados drasticamente diferentes: mini-swe-agent com 3,5%, Goose com 23,2%, Pi com 45,4%, subindo até os 63,4% do harness original do LAB. Depois de cerca de 22 rodadas de iteração automatizada de código, a pontuação agregada alcançou 80,1%, com a taxa de aprovação total subindo de 0% para 5,0%. Esse modelo open-source com pesos intocados, apenas por meio da otimização do Harness, igualou o top de linha fechado Claude Sonnet 4.6 com um sétimo do custo de execução. Mais criticamente, o Harness otimizado foi transferido para o menor DeepSeek-V4-Flash e ainda entregou um ganho de 14,4 pontos. Mecanismos de execução em nível de código são muito mais fáceis de acumular e transferir entre modelos do que ajustes de prompt. Akshay, ex-engenheiro da Lightning AI, ofereceu uma analogia precisa: um LLM puro é uma CPU sem memória nem disco rígido; o Harness é o sistema operacional que gerencia memória, I/O e drivers. Sem um SO, a CPU mais potente não executa nada. Mas a maioria das equipes hoje instalou um BIOS rudimentar em sua CPU e está reclamando que a CPU é lenta demais.
A Regra das Três Camadas do Harness
Sintetizando o experimento de Niklaus e a metodologia de Karpathy, o Agent Harness se decompõe em três camadas — um quadro diagnóstico para localizar onde seu sistema de agente está travado. Camada um: a camada de I/O — os arquivos estão sendo salvos corretamente? Absurdo, mas verdadeiro: essa é a causa número um de falha dos agentes. O modelo calcula a resposta certa, escreve no local errado, no formato errado, e falha na validação. As pontuações de 0% e 3,5% do experimento travaram todas aqui. Um modelo treinado com custo massivo pode ter seu desempenho como agente zerado por um bug de caminho de arquivo. A regra de ouro: validação estrita do formato de saída, retentativa em caso de erro e logging. Não é inteligência — é trabalho braçal de engenharia. Camada dois: a camada de orquestração — seu contexto está “apodrecendo”? Quanto mais complexa a tarefa e mais rodadas de interação, mais a gestão de contexto se degrada. Colocar informações críticas no meio do contexto derruba o desempenho em mais de 30%. Harnesses maduros comprimem o histórico, mascaram saídas obsoletas e resumem dinamicamente — resultado máximo com o mínimo de tokens de alta densidade. O diagnóstico: imprima o histórico de conversa do seu agente. Se mais de 60% for a saída intermediária do próprio modelo, seu contexto está arrastando o modelo para baixo. Camada três: a camada de loop — o agente consegue melhorar continuamente? O projeto AutoResearch de Karpathy (90.000 estrelas) contribuiu com essa metodologia. Com seus 20 anos de experiência em modelos, seu modelo ajustado manualmente rodou dois dias, enquanto o agente executou autonomamente 700 experimentos, encontrando 20 melhorias de código que ele havia deixado passar — incluindo um multiplicador escalar faltante no mecanismo de atenção. Esse tipo de otimização fina, que exige paciência, exaure humanos depois de uma dúzia de rodadas; o agente nunca se cansa. Três elementos essenciais fazem o loop funcionar: um verificador (sem ele, o agente corrige o próprio dever de casa), um arquivo de estado (registrando resultados para que reinícios não comecem do zero) e uma condição de parada (atingir o objetivo ou chegar ao máximo de rodadas — ou ele queima todo o seu orçamento de tokens).
A Faca de Dois Gumes do Loop: Quando o Custo de Tentativa e Erro se Aproxima de Zero
Pesquisadores construíram sobre o trabalho de Karpathy o “Bilevel Autoresearch” — um loop ao redor do loop: a camada interna otimiza o modelo, a camada externa otimiza a lógica de busca da camada interna. Resultado: melhoria de 5× em relação ao benchmark de Karpathy, tudo a partir de mudanças de arquitetura. A implicação mais profunda: quando o custo de tentativa e erro se aproxima de zero, o gargalo de engenharia desloca-se de “tomar a decisão certa” para “rodar experimentos suficientes para encontrar a decisão certa”. A intuição humana — treinada em iteração cara — torna-se o gargalo, não o facilitador. As organizações que prosperarão serão aquelas capazes de projetar sistemas de verificação precisos o suficiente para que os agentes se autocomrijam, e humildes o suficiente para deixar a máquina encontrar o que elas deixaram passar.
A diferença de 76 pontos entre um Harness funcional e um quebrado não é um caso extremo. É o estado padrão da indústria. E não tem nada a ver com o quão inteligente é o seu modelo. As organizações que internalizarem isso — que pararem de caçar benchmarks e começarem a auditar Harnesses — extrairão 10 vezes mais valor do mesmo gasto com modelos. As que continuarem trocando de modelo enquanto sua camada de I/O joga resultados no vazio continuarão se perguntando por que “a IA não está pronta para produção”. Ela está pronta. Seu sistema operacional é que ainda não foi instalado.
