Rode o Wan2.2-A14B em uma única RTX 5090: vídeo 720p em 3,8s

Gerar um vídeo de 5 segundos em 720p com um DiT de vídeo da classe 14B significava esperar dezenas de minutos. O LightX2V acabou de mudar essa equação: o LightWan2.2-A14B comprime o Wan2.2-A14B de 40 passos de denoising para 4, incorpora treinamento com quantização NVFP4 (quantization-aware) na destilação e adiciona atenção esparsa dinâmica — assim, o modelo MoE completo de 14B roda em uma única RTX 5090. Com 8 placas, um clipe de 5 segundos em 720p é renderizado em 3,8s (T2V), uma aceleração de 705,8× sobre a linha de base de 40 passos.

Por que isso importa

O Wan2.2-A14B tem dois problemas graves em hardware de consumo: é lento (40 passos de denoising e, com sequências de ~120 mil tokens, só a autoatenção pode consumir mais de 80% de uma passada do DiT) e não cabe (pesos + tokens de vídeo longos + buffers de atenção estouram o teto de ~30GB das GPUs de consumo). O LightX2V ataca os dois: menos passos, passos mais baratos e menor pico de memória.

As 4 jogadas que o tornam rápido

1. Destilação de passos: 40 → 4

O Phased DMD divide o intervalo de SNR em fases e treina diferentes experts para fazer o denoising dentro de cada subintervalo de ruído, mantendo gradientes de apenas um passo de amostragem por estágio. O SGMD (Score Gradient Matching Distillation) alinha o score do gerador ao score do professor com um objetivo de Fisher com stop-gradient, acompanhando o gerador atualizado continuamente por meio de correções de loop externo/interno. O resultado é um pipeline de 4 passos com “dois experts de alto ruído + dois experts de baixo ruído” — o backbone do DiT roda 36 vezes a menos, mantendo a dinâmica de movimento, o detalhe visual e a diversidade de saída.

2. Treinamento com quantização NVFP4 (quantization-aware)

O NVFP4 usa valores de 4 bits E2M1 com escala de bloco FP8 E4M3 a cada 16 elementos, além de escala global FP32 — custo de armazenamento próximo ao FP4 com melhor faixa dinâmica. O modelo aluno é treinado para tolerar o erro de 4 bits durante a destilação e depois mapeado para os Tensor Cores Blackwell via kernels CUTLASS: GEMM com escala de bloco dual-NVFP4, acumulação FP32, saída BF16 e viés de coluna fundido no epílogo. O tráfego de memória das camadas lineares e a latência do GEMM caem.

3. Atenção esparsa dinâmica

Em vez de calcular atenção completa sobre ~120 mil tokens, o runtime estima a importância dos blocos a partir das médias de bloco de Q/K e mantém apenas os 10–20% de blocos principais (80–90% de esparsidade), calculando densamente dentro dos blocos sobreviventes para preservar o throughput da GPU. Isso se integra ao SageAttention2 para um caminho de atenção esparsa FP8, reduzindo tanto o matmul denso quanto os custos de atenção.

4. Kernels fundidos, offload assíncrono e paralelismo multi-GPU

RoPE 3D e RMSNorm recebem kernels fundidos/paralelos (menos despachos Python, menos tensores temporários). O offload em nível de bloco move os pesos por bloco do Transformer e sobrepõe a transferência ao cálculo, então um modelo de 14B mais sequências longas de vídeo cabem na VRAM de uma única placa. Para 8 placas, o paralelismo de sequência Light-Ulysses transforma o Ulysses em um pipeline em tempo real: comunicação FP8, tensores QKV fundidos em um único payload All-to-All, kernels Triton fundidos de pré/pós-processamento e All-to-All assíncrono paralelo por cabeças, que transmite as próximas cabeças enquanto as atuais calculam.

Início rápido

# Imagem oficial (dependências fixadas para 5090)
docker pull lightx2v/lightx2v:26052801-cu130-5090

# GPU única: T2V / I2V
bash scripts/wan22/extreme/run_wan22_moe_t2v_extreme.sh
bash scripts/wan22/extreme/run_wan22_moe_i2v_extreme.sh

# Paralelismo de sequência multi-GPU (defina seq_p_size = número de GPUs)
bash scripts/wan22/extreme/run_wan22_moe_t2v_extreme_sp_parallel.sh
bash scripts/wan22/extreme/run_wan22_moe_i2v_extreme_sp_parallel.sh

Instalação manual: compile a partir do código-fonte e construa os kernels NVFP4 com o NVIDIA CUTLASS.

O que você pode esperar

• 8×RTX 5090: T2V 720p → 3,8s (705,8×), I2V 720p → 4,5s (599,3×) — ambos abaixo da barreira de 5s do tempo real.
• 1×RTX 5090: T2V 720p → 22,5s (118,7×), I2V 720p → 26,7s (100,5×), I2V 480p → 10,7s.
• vs TurboWan2.2 (mesmos 4 passos, placa única): ~3,5× mais rápido em 480p e ~2,4× em 720p para I2V.

Dicas práticas

• Comece pela imagem Docker oficial — o ambiente fixado é a diferença entre “rodar” e “compilar por três horas”.
• Placa única: o offload assíncrono em nível de bloco é o que faz o modelo de 14B caber; não desative ele para perseguir alguns por cento de velocidade.
• Multi-GPU: defina seq_p_size com o número real de GPUs; os scripts já vêm com a configuração SP habilitada.
• Quer a barreira do tempo real? 8 placas geram 5s de vídeo em menos de 5s. Uma placa só já é nível interativo para rascunhos e iterações.

Recursos

• Código: github.com/ModelTC/LightX2V
• Modelo: huggingface.co/lightx2v/LightWan2.2-A14B
• Blog: LightX2V blog
• Artigos: Phased DMD (CVPR 2026), SGMD (ICML 2026)