Uma placa de vídeo rodando a um sétimo da sua velocidade
Oito GPUs PCIe comuns executando o DeepSeek-V4.1-Flash produziram um throughput de entrada de 1.932 tokens por segundo no baseline Day 0 da comunidade. As mesmas oito placas, o mesmo modelo, sem alterar um único peso, entregaram depois 13.274 tokens por segundo — um salto de 6,87x.
O que aconteceu nesse meio-tempo? Nenhum algoritmo novo. Nenhum chip novo. Apenas a reconexão de caminhos de aceleração que o hardware e o framework de inferência já possuíam, mas que eram silenciosamente ignorados por causa de lacunas de adaptação.
A maior parte da cobertura dessa história a lê como um estudo de caso de otimização de uma única empresa. O aprendizado mais importante é estrutural: na inferência, o silício define o teto, mas a stack de software decide quanto desse teto você realmente alcança. E, neste momento, essa stack de software é bem mais precária do que a maioria imagina.
O desempenho não está ausente — ele está trancado
Para entender de onde vem uma folga de sete vezes, é preciso olhar como os frameworks de inferência mainstream realmente funcionam.
Frameworks como vLLM e SGLang vêm com uma grande biblioteca de kernels de alto desempenho. Mas esses kernels só são ativados em hardware dentro da matriz oficial de validação do framework. Uma placa fora da matriz — uma placa PCIe de consumo, uma GPU chinesa nacional, qualquer acelerador de cauda longa — não recebe mensagem de erro. O framework silenciosamente recorre a caminhos de código genéricos e lentos. O serviço roda; apenas está várias vezes mais lento do que precisaria ser.
O modo de falha mais sutil é que muitos kernels de alto desempenho não estão ausentes de forma alguma. Definições de metadados incompatíveis, configuração errada de page-size ou incompatibilidades entre o kernel e o hardware-alvo simplesmente impedem que eles sejam acionados. O desempenho fica dentro da placa, trancado.
Foi exatamente isso que a primeira fase do trabalho com o DeepSeek-V4.1-Flash abordou: alinhar metadados entre hardware e framework, corrigir configurações de page-size, restaurar o caminho rápido de prefill do sparse-MLA, substituir um kernel FP8 dense GEMM lento e ampliar a cobertura do caminho rápido de comunicação entre processos via PCIe. Nada novo foi inventado — o throughput subiu de 1.932 para 5.850 tokens por segundo.
O mesmo roteiro foi reproduzido no DeepSeek-V4-Flash e no GLM5.3. Corrigir computação redundante no padding de attention heads, vetorizar a lógica de tokens do cache KV e estender a cobertura de CUDA graphs entregaram ganhos de 20-33% em múltiplos modelos apenas nessa fase.
Só então as restrições reais do hardware aparecem. A largura de banda entre placas via PCIe é muito inferior à do NVLink, de modo que aplicar as estratégias de paralelismo padrão, projetadas para hardware com interconexões de alta velocidade, deixa as GPUs ociosas enquanto esperam comunicação. A segunda fase — fusão de operadores, sobreposição de computação com comunicação coletiva, diferenciação do paralelismo de tensor e contexto entre as fases de prefill e decode, e reajuste da alocação de memória — elevou o throughput de 5.850 para 13.274 tokens por segundo.
“Funciona” é uma armadilha
Aqui está uma lente simples para avaliar qualquer implantação: os três níveis de usabilidade — instalável, executável, comercializável.
Instalável significa que os pesos baixam e as dependências se resolvem. Executável significa que o serviço inicia e retorna respostas. Comercializável significa que throughput, latência e estabilidade atendem aos padrões de serviço em produção. A maior parte do hardware de cauda longa na comunidade open-source para no segundo nível: um novo modelo é lançado, a comunidade confirma que roda, e o trabalho é declarado concluído. O caminho do segundo para o terceiro nível é tratado como se não existisse.
Essa lente vai muito além de GPUs. O KTransformers, projeto open-source do laboratório MADSys da Universidade Tsinghua, roda o DeepSeek-R1 de 671 bilhões de parâmetros em uma única RTX 4090 de 24GB mais memória RAM do sistema, mantendo a atenção e o cache KV na GPU enquanto descarrega os pesos do mixture-of-experts para a CPU com kernels AMX rápidos — publicado no SOSP 2025, e novamente um caso de preencher a lacuna de software entre “teoricamente possível” e “realmente utilizável”. O inverso também vale: uma B300 topo de linha rodando uma configuração de paralelismo e comunicação que não combina com a carga de trabalho desperdiça uma parcela substancial de sua capacidade de computação.
A lacuna entre os níveis é a faixa de lucro da economia de inferência. Ela não pertence aos fabricantes de chips. Pertence a quem faz o trabalho ingrato.
Quem deveria se importar, e por quê
Coloque o framework à prova em alguns cenários.
O preço da inferência está prestes a ficar menos previsível. Uma B300 entrega cerca de 4,9-5,6x o throughput de entrada de uma máquina PCIe otimizada de 8 placas no DeepSeek-V4-Flash — mas o custo da máquina PCIe pode ser uma pequena fração do da flagship. A geração de vídeo torna o ponto ainda mais nítido: em throughput por máquina inteira, cerca de 2,6 máquinas da classe RTX 6000D igualavam uma B300 em texto-para-vídeo, reduzindo para cerca de 1,5 com otimizações de caching e LoRA. O PCIe não substitui o silício flagship — a diferença restante é real — mas o limite de substituição migrou de “impossível” para “viável em algumas métricas”.
Para as GPUs chinesas nacionais, o gargalo também é software. A mesma metodologia foi validada em aceleradores nacionais que ficam fora das matrizes de validação dos frameworks mainstream: habilitar explicitamente sparse attention otimizada para a plataforma, desativar padrões orientados a NVIDIA/AMD como a fusão de Shared Experts, e separar prefill e decode em modos de comunicação diferentes. Apenas submeter as computações de Shared Expert e Routed Expert em paralelo entregou um ganho de throughput de 11,26% em 35 testes emparelhados. “Funciona” é igualmente só o começo para o silício nacional; a adaptação sistemática é o caminho da capacidade soberana à escala de produção.
A escassez de computação muda quem detém o prêmio da otimização. Com a oferta de aceleradores de ponta restrita e os preços elevados, a otimização via software do hardware já instalado se torna uma fonte genuína de oferta adicional. Quem domina o roteiro do segundo para o terceiro nível detém várias vezes a capacidade efetiva nas mesmas placas.
O que fazer a respeito
- Se você compra computação: nunca avalie apenas pelo modelo da GPU. Exija throughput medido para o seu modelo, sua concorrência, na stack real do fornecedor. A mesma placa pode variar várias vezes dependendo do software, e uma cotação construída sobre um framework não otimizado pode ser silenciosamente cara.
- Se você opera inferência: audite versões de frameworks, caminhos de ativação de kernels e configurações de comunicação. Confirme que os kernels de alto desempenho estão realmente executando, em vez de recorrer silenciosamente a alternativas — antes de comprar mais capacidade. Separar o tuning de prefill e decode costuma ser a vitória mais barata disponível.
- Se você constrói ferramentas de implantação: adaptação de hardware de cauda longa é um nicho subvalorizado. O terreno aberto entre “roda” e “vende” no ecossistema open-source é exatamente onde esforço de engenharia se converte em valor.
- Se você é um desenvolvedor individual: hardware de consumo mais agendamento heterogêneo e quantização já rodam localmente modelos surpreendentemente grandes. Os dados nunca saem da máquina, e o custo marginal por token é a sua conta de luz — para cargas de trabalho sensíveis, isso é decisivo.
O silício define o teto; o software decide a taxa de realização. No mercado de inferência de 2026, essa taxa de realização ainda é surpreendentemente baixa — e uma taxa de realização baixa é precisamente a oportunidade que fica aberta às equipes de engenharia.
