Primeiro Modelo de Vídeo MoE de 100B Parâmetros Open-Source: MAGI-2 Preview Roda 114B Parâmetros com Custo Ativo de 6B

Primeiro Modelo de Vídeo MoE de 100B Parâmetros Open-Source: MAGI-2 Preview Roda 114B Parâmetros com Custo Ativo de 6B

Em 5 de agosto, a equipe Sand.ai, spin-off da Tsinghua, lançou o MAGI-2 Preview — o primeiro modelo open-source de geração de vídeo construído sobre uma arquitetura mistura de especialistas (mixture-of-experts) com centenas de bilhões de parâmetros. Os números são impressionantes: 114 bilhões de parâmetros totais com apenas cerca de 6 bilhões ativados por passe forward, gerando um clipe de 10 segundos em 1080p em oito H100s por cerca de 0,5 RMB (aproximadamente sete centavos de dólar) — um décimo do que os modelos mainstream cobram. No ranking de vídeo da Artificial Analysis, ocupa a sexta posição geral, superando uma série de modelos fechados que ativam mais de cem bilhões de parâmetros por token.

Mas o lançamento importa por um motivo mais profundo do que o preço: é a primeira resposta funcional a uma pergunta que a comunidade open-source não conseguiu resolver por dois anos — por que a geração de vídeo não conseguiu escalar?

Por Que os Modelos de Vídeo Permaneceram Pequenos

Nos últimos dois anos, os modelos open-source de geração de vídeo ficaram na maioria das vezes na casa das dezenas de bilhões de parâmetros, com o maior alcançando talvez trinta bilhões. Os modelos de linguagem, em contraste, avançaram com mistura de especialistas para as centenas de bilhões — até trilhões — em pesos abertos. As duas tarefas são diferentes, e contagens de parâmetros não se traduzem diretamente entre modalidades. Mas a lacuna ainda diz algo: escalar um modelo de vídeo custa fundamentalmente mais do que escalar um LLM, por três razões que se somam.

  • As sequências são enormes. Um clipe se decompõe em quantidades vastas de patches espaciais ao longo de frames contínuos, e adicionar áudio e texto infla o comprimento da sequência e a densidade de informação exponencialmente.
  • A comunicação é brutal. O roteamento MoE é dinâmico — o número de especialistas ativados flutua a cada passo, então o tráfego entre dispositivos oscila junto. Sequências longas de vídeo transformam essa oscilação no gargalo fatal.
  • O treinamento é frágil. Roteamento dinâmico, desbalanceamento de carga entre especialistas e dados multimodais por cima multiplicam todas as patologias com que o scaling de LLMs já luta.

A conclusão é inevitável: o scaling de vídeo não pode copiar o manual dos LLMs. Enxertar um MoE por cima não funciona; o stack precisa ser reconstruído desde a base. A Sand.ai é a primeira equipe a levar um MoE de vídeo do papel para centenas de bilhões de parâmetros que realmente rodam.

Três Camadas de Engenharia: Arquitetura, Eficiência e Sistema

O relatório técnico — MAGI-2 Preview: Scaling Video Generation Models Efficiently — organiza a resposta em três camadas.

Arquitetura: Um Único Fluxo para Áudio e Vídeo

Os pipelines tradicionais processam vídeo e áudio em backbones separados e depois os colam com cross-attention ou pós-processamento. Cada salto extra adiciona latência e acumula erro — e essa costura é exatamente de onde vêm as falhas de sincronia labial. O MAGI-2 Preview estende a arquitetura de fluxo único que a Sand.ai validou em seu trabalho anterior, o daVinci-MagiHuman: tokens de texto, vídeo e áudio entram no mesmo Transformer e trocam informações diretamente em cada camada de self-attention, de modo que imagem e som são gerados por um único backbone compartilhado.

Dentro desse backbone, os especialistas se dividem em dois eixos: especialistas compartilhados que capturam o que as modalidades têm em comum, e especialistas específicos de modalidade que lidam com o que é único de linguagem, imagem ou som. O ganho é estrutural, não cosmético. Quando um personagem fala, o formato dos lábios, a expressão facial e o movimento do corpo são gerados no mesmo passe que a voz. Quando um impacto acontece, os objetos na tela reagem no mesmo frame. Quando a música muda, a atuação e o movimento de câmera se ajustam junto. A sincronia áudio-visual deixa de ser um remendo de engenharia e se torna uma capacidade nativa do modelo.

Eficiência: 3.072 Especialistas por Camada

O MAGI-2 Preview divide sua representação de características de 3.072 dimensões em doze subespaços de 256 dimensões. Cada subespaço seleciona independentemente 6 especialistas, de modo que um único token de vídeo compõe dinamicamente 72 deles — e cada camada contém 3.072 especialistas no total. Para comparação, modelos MoE de linguagem mainstream como o DeepSeek rodam alguns centenas de especialistas por camada. Especialistas mais granulares significam divisões de trabalho mais finas, e muito mais combinações de capacidades que o modelo pode montar. O preço é a pressão de escalonamento: com milhares de especialistas, o roteamento convencional atinge seu teto de eficiência rapidamente.

Sistema: Head Parallel Transforma Oscilação em Constante

Este é o movimento mais interessante do relatório. O Expert Parallel convencional roteia primeiro e comunica depois: cada token escolhe seus especialistas e então é enviado entre dispositivos até onde esses especialistas vivem, de modo que o volume de tráfego oscila com cada decisão de roteamento. O Head Parallel inverte a ordem — as representações dos tokens são distribuídas por cabeça de atenção primeiro, e cada dispositivo realiza a seleção e o cálculo dos especialistas localmente. Como as formas dos dados distribuídos são fixas, a comunicação depende apenas da representação de entrada e não escala mais com o número de especialistas ativados. O gargalo que tornava sequências longas de vídeo letais simplesmente é contornado.

Ao redor desse núcleo ficam dois componentes desenvolvidos internamente: a biblioteca de kernels MagiMoE, que funde roteamento, ordenação e computação de especialistas em um pipeline enxuto que evita embaralhar resultados intermediários pela memória da GPU, e o otimizador MagiMuon. Juntos, eles elevam a eficiência de treinamento em cerca de 300%. O lado dos dados recebeu rigor equivalente: em vez de filtragem grosseira, a equipe construiu um sistema de anotação de grão fino cobrindo 2.000 horas de vídeo profissional em mais de 200 categorias de rótulos — trajetórias de movimento, características sonoras, linguagem de câmera — para que os 3.072 especialistas realmente se diferenciem em vez de colapsar em redundância.

Lendo o Sinal: O Manual de MoE dos LLMs, Reexecutado para Vídeo

Colocado em contexto, o MAGI-2 Preview atinge três marcas estruturais de uma vez. Primeiro, é uma declaração de que o MoE de centenas de bilhões não pertence mais apenas aos modelos de linguagem — a primeira vez que pesos abertos, MoE e escala de centenas de bilhões foram combinados para vídeo. Segundo, é o gêmeo open-source da mesma onda que o MiniMax H3 cavalgou: o H3 disparou o sinal de preço pelo lado fechado, o MAGI-2 dispara o manifesto de arquitetura pelo lado aberto, e ambos apontam na mesma direção — a geração de vídeo está entrando em uma faixa de custo industrial em que a geração por minuto cai de milhares de RMB para dezenas. Terceiro, é mais uma validação de uma rota deliberadamente fora do consenso. O fundador Cao Yue — bolsista de topo da Tsinghua e coautor principal do paper do Swin Transformer, que cofundou a Guangnian Zhiwai e liderou pesquisa multimodal e de visão no BAAI — construiu um histórico de apostas impopulares: o autorregressivo MAGI-1 (open-sourced em abril de 2025 com 24B), depois geração conjunta de áudio e vídeo, agora MoE de centenas de bilhões. Kai-fu Lee chamou a Sand.ai de “a DeepSeek da geração de vídeo por IA”, e a analogia se sustenta: pular o ciclo de hype, apostar em decisões de arquitetura contrárias ao senso comum e vencer por engenharia de sistemas.

Três mudanças a jusante já são visíveis. Os fluxos de trabalho de conteúdo serão reescritos: quando o custo por clipe se aproxima de erro de arredondamento, o polir-uma-única-vez dá lugar ao gerar-muitos-e-selecionar, e pipelines de publicidade, curtas dramáticos, animação e assets de jogos ganham sua primeira automação economicamente viável. A comparação aberto-versus-fechado ganha novos eixos: qualidade e preço convergem, então a avaliação se estende a saber se um modelo pode ser ajustado ainda mais e se sua interface está refém de uma única plataforma — a mesma divisão que definiu os LLMs, com fornecedores fechados vendendo experiência de produto e pesos abertos competindo em implantação e ecossistema. E o stack de infraestrutura de vídeo começa a se estratificar: o padrão de comunicação do Head Parallel impõe novos requisitos aos clusters de inferência, e os especialistas ultrafinos pressionam bibliotecas de kernels e algoritmos de roteamento de formas que o stack público ainda não respondeu.

As Ressalvas

Os limites importam: isto ainda é uma prévia. Os clipes têm no máximo 10 segundos, gerados por um pipeline de dois estágios de denoising de prévia em baixa resolução seguido de um refiner que faz upscale para 1080p. O sistema monta componentes abertos — o codificador de texto Qwen3.5-27B, o VAE Wan2.2 e o stable-audio-open-1.0 para áudio. O sexto lugar no ranking da Artificial Analysis significa estar genuinamente perto do primeiro escalão, não no topo dele. O lançamento oficial e a validação da comunidade são a verdadeira prova para esta arquitetura.

O Que Cada Público Deve Fazer Agora

  • Criadores e estúdios: comecem a prototipar pipelines de gerar-muitos-selecionar-poucos. A custos de dezenas de RMB por minuto, a geração por IA já pertence à pré-visualização, substituindo testes caros de filmagem por iterações baratas.
  • Desenvolvedores: leiam o relatório pelo Head Parallel sozinho — a ideia de reordenar a comunicação se generaliza para qualquer problema de inferência MoE com sequências longas. Fiquem de olho se MagiMoE e MagiMuon serão lançados junto com a versão oficial.
  • Decisores técnicos: adicionem custo por clipe e qualidade de sincronia áudio-visual às fichas de avaliação de fornecedores. Para verticais sensíveis a dados — publicidade, games, humanos virtuais — pesos abertos mais implantação local é agora uma opção que merece avaliação séria.

Os sinais a observar a seguir: o lançamento oficial fora da prévia, suporte a durações maiores, adaptação por frameworks de inferência mainstream como o vLLM, e a contagem de fine-tunes da comunidade que aparecerem. O bastão do revezamento do MoE de vídeo com centenas de bilhões de parâmetros saiu das mãos da Sand.ai e chegou à comunidade open-source.

Notícias Relacionadas