A manchete não é “modelos baratos são bons”. É que a indústria de IA finalmente tem uma régua para a metade do sistema que nunca foi medida.
Em 7 de agosto, a Floatboat (AOE Tech Labs) publicou um relatório completo de benchmark do seu Floatboat Evaluation Harness em cinco testes de terceiros. O modelo de base por baixo era o DeepSeek-V4-Flash — possivelmente o modelo sério mais barato do mercado, a US$ 0,14 de entrada / US$ 0,28 de saída por milhão de tokens (cerca de US$ 0,175/M combinados numa típica proporção de entrada e saída de agente de 3:1). O adversário era o Claude Opus 4.8 a US$ 5/US$ 25, ou US$ 10/M combinados — 57,1 vezes mais caro.
A Floatboat venceu os cinco benchmarks.
Leia de novo: o modelo capaz mais barato do mercado, rodando no harness certo, venceu um modelo flagship que custa 57 vezes mais. Mas a história mais profunda não é o preço. É que o elemento que fez a diferença — o harness — nunca teve um benchmark público até agora.
A equação com a qual todos concordam: Modelo + Harness = Agente
A metade esquerda é medida constantemente. Todo lançamento de modelo vem com uma ficha de benchmark. A metade direita — o sistema ao redor do modelo: o que o modelo pode tocar, como cada loop converge, o que as ferramentas retornam, onde o estado vive — nunca teve uma régua. O relatório da Floatboat é uma primeira tentativa de colocar um número nisso.
A metodologia importa porque toda a conclusão depende de uma única variável. Ambas as execuções usaram exatamente o mesmo modelo: DeepSeek-V4-Flash 0731, versão estável. A única diferença era o harness ao redor dele. O controle não era uma “API bruta” — era o próprio harness oficial da DeepSeek: o DeepSWE marcou 54,4, abaixo dos 58,0 do Opus 4.8. No Floatboat, o mesmo modelo alcançou 67,25. De forma geral: no Terminal Bench 2.1 o próprio harness da DeepSeek empatou com o Opus 4.8 (82,7:82,7) e perdeu nos outros quatro; o Floatboat venceu os cinco.
Pesos do modelo: inalterados. Custo unitário: inalterado. A única variável era o harness.
Dois detalhes mostram que eles deliberadamente tornaram o próprio caso mais difícil. Primeiro, usaram o checkpoint estável 0731 em vez do Preview anterior — o Preview teria mostrado o DeepSWE saltando de 7,3 → 67,25 (+821%), um número mais bonito, mas misturando melhorias de pós-treinamento que não podem ser atribuídas ao harness. Segundo, escolheram o modelo mais barato de propósito: um modelo de topo num harness de topo produz pontuações altas com atribuição ilegível. Trave a base mais barata, troque apenas o harness, e o delta tem que pertencer ao harness.
Por que isso soa como fazer benchmark de uma CPU ignorando o sistema operacional
A indústria passou dois anos tratando o modelo como o computador inteiro. Na realidade, o modelo é o motor; o harness é a transmissão, a suspensão e o piloto automático. O encanamento de contexto, o formato do retorno das ferramentas, a convergência dos loops, a persistência do estado — é aí que o desempenho de nível de agente realmente é construído. O benchmark diz que a lacuna entre um motor de US$ 0,175 e um motor de US$ 10 pode ser fechada, ou até invertida, pelo resto do veículo.
O que isso significa para o mercado
1. A unidade de competição está migrando do modelo para o sistema. Compradores agora podem obter desempenho de agente em nível flagship por 1/57 do custo de tokens. A antiga escolha — “o modelo caro é o único que funciona” vs. “barato o suficiente para usar de verdade” — está sendo anulada pela engenharia.
2. O fosso competitivo se move para o harness. Durante dois anos todos correram atrás de pesos; este é o primeiro sinal de que a diferenciação duradoura vive na camada de sistema, e que agora ela é mensurável. A qualidade do harness se tornará um critério de compra, assim como a qualidade do modelo é hoje.
3. Fornecedores de modelos enfrentam uma pressão na camada commodity. Se um modelo de US$ 0,175 mais um ótimo harness vence um flagship de US$ 10, o prêmio pelos tokens flagship terá que ser justificado por algo além de “funciona melhor em agentes” — porque o harness agora pode fornecer isso.
O que os construtores devem fazer
- Não presuma que flagship = melhor para agentes. Rode avaliações em nível de harness (DeepSWE, Terminal Bench, etc.) no seu próprio stack antes de pagar por tokens premium.
- Trate seu harness como um sistema de primeira classe, não como encanamento. Ele agora é a metade mensurável da equação.
- Para compras: o custo-benefício ficou muito mais interessante. Modelo barato + harness forte é uma arquitetura legítima, não um compromisso.
A conclusão: a corrida dos modelos não é a corrida inteira. A régua para a outra metade finalmente existe.
