Por anos, a comunidade de agentes repetiu uma mesma equação: Modelo + Harness = Agente. A metade esquerda é medida constantemente — todo lançamento de modelo vem acompanhado de uma tabela de benchmarks. A metade direita — tudo além dos pesos: quais ferramentas o modelo consegue acessar, como cada loop converge, como é o estado e onde ele vive — nunca teve uma régua.
No dia 7 de agosto, a Floatboat (AOE Tech Labs) colocou essa metade faltante no placar. Seu Floatboat Harness foi avaliado em cinco benchmarks de terceiros usando o modelo mainstream mais barato que o dinheiro pode comprar, o DeepSeek V4 Flash. Ele superou uma frota de modelos de ponta internacionais em todos os cinco. Contra o Claude Opus 4.8 — 57,1x mais caro por token — venceu todos os testes.
Essa não é uma história do tipo “modelo barato é bom, na verdade”. É a primeira medição limpa de quanto o harness realmente contribui. E o experimento foi deliberadamente construído como um teste de variável única.
Os números
A Floatboat rodou o DeepSeek-V4-Flash (API oficial: $0,14/M de entrada, $0,28/M de saída), com proporção combinada de 3:1 entre entrada e saída para cargas de trabalho de agentes → $0,175/M. O oponente: Claude Opus 4.8 a $5/$25, $10/M combinado. Em cinco benchmarks de agentes — incluindo engenharia de software, tarefas baseadas em terminal e uso de ferramentas — o sistema de $0,175 superou o sistema de $10 em tudo.
Aqui está a parte que elimina a leitura óbvia. O mesmo DeepSeek-V4-Flash, rodando dentro do harness próprio da DeepSeek, marcou 54,4 no DeepSWE — abaixo dos 58,0 do Opus 4.8. Na Floatboat, o mesmo modelo atingiu 67,25. No Terminal Bench 2.1, o harness oficial apenas empatou com o Opus 4.8 (82,7 : 82,7) e perdeu os outros quatro. Mesmos pesos, mesmo custo unitário. A única variável: o harness.
A metodologia importa aqui porque toda a conclusão depende de isolar essa variável. Ambos os lados usaram a mesma base DeepSeek-V4-Flash 0731; os benchmarks públicos de Code Agent da DeepSeek rodaram sob o DeepSeek Harness oficial (modo minimal, configurações máximas, top_p=0,95, temperature=1,0); a Floatboat rodou sob seu harness de avaliação, com a inferência do modelo servida em grande parte pela própria API da DeepSeek; todas as tarefas rodaram em ambientes isolados e prontos para uso.
O momento do compilador
A analogia correta não é “o modelo barato finalmente alcançou os outros”. É o compilador. Mesmo silício, mesmo conjunto de instruções — e, por décadas, o que transformava hardware bruto em desempenho real era o toolchain do compilador. Dois sistemas em CPUs idênticas podiam diferir em múltiplos em cargas de trabalho reais porque um tinha um toolchain maduro e o outro não. O desempenho de agentes está se moldando da mesma forma: o modelo é o silício, o harness é o compilador. Ninguém afirmaria que o compilador “é” o chip; ninguém deveria afirmar que o harness “é” o modelo. Mas ambos são onde uma parcela desproporcional do desempenho no mundo real é, de fato, decidida.
O que torna esse benchmark digno de leitura não é que uma empresa venceu. É que o campo finalmente tem uma régua para a metade direita da equação. A indústria concordou com a equação há anos; ela simplesmente nunca divulgou o placar de um dos lados. As escolhas de design do harness — o que o modelo pode tocar, como o retorno das ferramentas é estruturado, como os loops convergem, onde o estado persiste — agora são mensuráveis, comparáveis e melhoráveis.
O que isso muda
Três consequências práticas.
Primeiro, a guerra de preços de modelos acaba de ser reposicionada. Se um modelo de $0,175/M mais um bom scaffolding entrega resultados de nível flagship em agentes, então “qual modelo” se torna uma decisão de segunda ordem. A decisão de primeira ordem é em qual harness você o executa. Equipes que queimam orçamento em pesos premium podem estar resolvendo a variável errada.
Segundo, a infraestrutura de agentes agora é uma dimensão competitiva explícita. Espere que benchmarks de harness, harness-como-produto e fossos competitivos de harness se tornem tão disputados quanto os leaderboards de modelos — da mesma forma que os lançamentos anteriores da Floatboat (workspace desktop nativo para agentes, networking de escritório para agentes, agentes orientados por agenda) acabaram sendo produtos de harness vestidos de roupas de produto.
Terceiro, a medição em si é alavanca. Quem controla o metro de medida da qualidade de harness define como o campo otimiza. O relatório é aberto: floatboat.ai/news/harness-benchmark, com a metodologia completa incluída.
O que você pode fazer na segunda-feira de manhã
- Construa sua própria avaliação de harness de variável única: fixe o modelo, varie o scaffold, meça. Uma semana disso vale mais que um mês de compras de modelo.
- Coloque a avaliação de agentes no CI, e não apenas números de acurácia de RAG. Monitore conclusão de tarefas, convergência de loops e custo por tarefa concluída.
- Antes de migrar para um flagship mais caro, rode seu modelo atual em um harness mais forte primeiro. A alavanca mais barata costuma ser a melhor.
- Se você está construindo um produto de agente, trate o harness como o produto. É a metade da equação que os usuários realmente sentem.
A conclusão é desconfortável e útil em igual medida: a distância entre os modelos está ficando mais barata de fechar, e a distância entre os harnesses é onde a verdadeira separação está acontecendo.
