Em 2 de setembro, a NVIDIA publicou, de forma discreta, um guia oficial de inferência sobre decodificação especulativa e co-design modelo–hardware. É raro um fabricante de chips publicar uma especificação formal sobre como um modelo deve ser arquitetado considerando os limites físicos do seu silício. O ponto central é uma tabela de seleção dos seis esquemas de aceleração mais utilizados, além de uma equação de restrição surpreendentemente rigorosa que vincula o agrupamento das suas cabeças de atenção ao número exato de tokens de rascunho que você deve gerar. Veja como interpretá-la e o que isso significa para o seu stack de serving.
Por que a decodificação especulativa existe
Os LLMs emitem tokens um de cada vez, e cada token força o conjunto completo de parâmetros (centenas de GB) pela memória uma vez. Na maior parte do tempo, o cálculo fica parado esperando a largura de banda da memória. A decodificação especulativa resolve isso da maneira mais brutal: um pequeno modelo de rascunho prevê alguns tokens à frente, e o grande modelo alvo os verifica em uma única passada. Os tokens verificados são mantidos; as divergências são descartadas a partir do ponto de quebra. Como o modelo alvo só aceita tokens que produziria de qualquer forma, a saída é sem perdas — nenhum caractere muda.
Tudo se resume a uma única equação de valor esperado:
Speedup = E[L] × T_target / (T_draft + T_verify)
E[L] é o comprimento de aceitação esperado (quantos tokens de rascunho o modelo alvo aceita por rodada). O denominador é o seu overhead: o tempo do rascunho mais a passada de verificação. Para ganhar, você ou aumenta o numerador (faz rascunhos mais precisos) ou esmaga o denominador (faz rascunhos mais rápido).
As quatro gerações na tabela da NVIDIA
A tabela percorre uma linhagem clara:
- Modelo de rascunho externo — a abordagem clássica. A NVIDIA é direta sobre o custo: treinar um do zero consome de 1T a 10T de tokens. Ele sobrevive principalmente porque a NVIDIA adquiriu o silício LPU da Groq justamente para esse padrão.
- EAGLE-3 — o ápice do rascunho autorregressivo, da equipe da PKU/Waterloo. Três gerações ao longo do ICML/EMNLP/NeurIPS. Na nova tabela, ele foi movido para a linha de “referência” porque seu comprimento de aceitação foi superado.
- MTP (previsão multi-token) — a Meta inventou a ideia em 2024, mas foi o DeepSeek-V3 que a tornou o padrão de serving. O veredito da NVIDIA: a melhor escolha em GPU para LLMs mainstream. Detalhe importante: precisa ser treinado em conjunto com o modelo principal durante o pré-treinamento.
- DFlash — o recordista de aceleração sem perdas, com 6x (Jian Chen, Yesheng Liang, Zhijian Liu). Ele abandona a autorregressão token a token e toma emprestado o conceito de difusão: uma única passada forward produz todo o bloco de previsão de 7 tokens, colapsando o denominador.
- DSpark — a equipe de 24 pessoas da DeepSeek/PKU. A estrutura paralela do DFlash perde precisão quanto mais longe prevê, então o DSpark adiciona um módulo serial bem leve sobre a base paralela. Em produção no DeepSeek-V4, ele roda de 60% a 85% mais rápido que o MTP, com comprimento de aceitação ~30% acima do EAGLE-3.
A constante de hardware que trava reversamente o seu modelo
Aqui está a parte que inverte seu modelo mental. Como a atenção domina o tempo de decodificação, a passada de verificação processa 1 + D tokens (uma entrada real mais D rascunhos). O kernel de atenção da GPU agrupa cabeças Query e KV, e o tamanho do tile de agrupamento é limitado pela borda física da matriz — atualmente 128 na maioria das arquiteturas. Isso dá a restrição de alinhamento:
G × (1 + D) ≤ 128 → D = 128/G − 1
onde G é o número de grupos de atenção. Ou seja, o seu agrupamento de atenção, definido na fase de design do modelo, determina diretamente quantos tokens de rascunho saturam o tile do hardware. Se G = 8, faça rascunho de 15 tokens; se G = 32, faça rascunho de apenas 3. Ultrapasse o limite e você paga por um tile inteiro, mesmo que o último fique pela metade vazio.
A era em que a decodificação especulativa era um acelerador acessório instalado depois em um modelo já treinado acabou. Uma constante do silício agora retropropaga para dentro dos seus parâmetros de arquitetura.
Lições práticas
- Se você está pré-treinando um modelo do zero, incorpore o MTP desde o primeiro dia — não dá para adicioná-lo depois, e é a melhor escolha nativa para GPU.
- Se você já tem um modelo treinado e quer um ganho de 6x, dê uma olhada no DFlash: é ICML 2026 com código disponível, e a NVIDIA tem uma documentação no Model-Optimizer mostrando o caminho de rascunho com difusão em blocos.
- Antes de escolher o comprimento do rascunho, calcule
D = 128/G − 1a partir do seu agrupamento de atenção e siga-o exatamente — não chute. - Para saídas muito rígidas e repetitivas, a linha de consulta n-gram (sem treinamento) pode ser suficiente; reserve o rascunho baseado em modelo para geração geral.
Recursos
- Artigo do DFlash (ICML 2026): arXiv 2602.06036
- Documentação de decodificação especulativa do NVIDIA Model-Optimizer: github.com/NVIDIA/Model-Optimizer
- Página do projeto DFlash: z-lab.ai/projects/dflash
