O manual de escalonamento que transformou os modelos de linguagem chegou silenciosamente a um limite no vídeo — e uma equipe com raízes na Universidade Tsinghua acabou de publicar o caminho para superá-lo. A Sand.ai disponibilizou em open-source o MAGI-2-preview, o primeiro modelo de geração de vídeo do mundo construído sobre uma arquitetura Mixture-of-Experts de escala centenária em bilhões de parâmetros: 114 bilhões de parâmetros no total, cerca de 6 bilhões ativos por passagem de inferência, e um clipe de 10 segundos em 1080P que custa cerca de sete centavos de dólar para gerar em oito H100s.
Tanto o código quanto os pesos são públicos desde o primeiro dia. Só isso já torna o lançamento um marco; o que o torna interessante é tudo o que a equipe precisou reinventar para chegar lá.
O Triângulo Impossível da Geração de Vídeo
Modelos de texto escalam de forma relativamente barata porque a linguagem é uma sequência de tokens discretos: empilha-se parâmetros, adiciona-se computação, e o modelo continua melhorando. Modelos de vídeo confrontam um mundo dinâmico inteiro. Cada quadro se fragmenta em uma enxurrada de patches espaciais, quadros consecutivos precisam codificar o movimento dos personagens, as relações entre objetos e o movimento da câmera, e empilhar texto e áudio por cima multiplica os comprimentos de sequência novamente.
Isso produz a contradição central da área: o modelo precisa ser maior, os vídeos precisam ser mais longos e o custo precisa continuar tolerável — um triângulo genuinamente impossível. Continuar escalando uma arquitetura densa faz os custos de treinamento e inferência dispararem verticalmente. Abandonar o escalonamento significa aceitar um teto rígido de qualidade.
A rota de fuga padrão é o MoE, o design Mixture-of-Experts que mantém uma capacidade total de modelo enorme enquanto ativa apenas uma fração dela por token. Nada na ideia é novo. Fazer funcionar para vídeo mostrou-se muito mais difícil do que qualquer um esperava.
Por que o MoE de Vídeo é Muito Mais Difícil que o MoE de LLMs
O MoE já foi amplamente comprovado em modelos de linguagem — DeepSeek e outros o executam em escala todos os dias. Levá-lo ao vídeo exige superar três obstáculos que a linguagem nunca apresentou.
Primeiro, comunicação. O paralelismo de especialistas convencional roteia cada token para seus top-K especialistas, onde quer que esses especialistas estejam no conjunto de GPUs. Quanto mais especialistas você ativa, mais dados cruzam as fronteiras entre dispositivos. Modelos de vídeo já lidam com sequências superlongas, então o tráfego rapidamente sobrecarrega a computação dos especialistas que deveria servir.
Segundo, estabilidade do treinamento. Decisões de roteamento que mudam a cada passo, cargas de especialistas que oscilam violentamente e a mistura intrinsecamente heterogênea de dados de texto, vídeo e áudio — cada um, isoladamente, já é uma dor de cabeça conhecida no escalonamento. Combinados em um MoE de vídeo, eles se multiplicam.
Terceiro, a lacuna arquitetural. Um modelo de linguagem raciocina em sequências de milhares de tokens. Um modelo de vídeo raciocina em sequências de milhões. Um transplante ingênuo do design de MoE de um LLM colapsa na comunicação entre dispositivos e no alinhamento multimodal nesse comprimento.
É por isso que quase ninguém trilhou esse caminho. A Sand.ai é a primeira equipe a levar um MoE de vídeo em escala de centenas de bilhões da teoria a um modelo lançado e aberto.
Como o MAGI-2-preview Supera o Desafio
A resposta é uma reconstrução ponta a ponta — arquitetura, sistemas, comunicação e dados, redesenhados como um todo único.
Um único fluxo para imagem e som
O MAGI-2-preview estende a arquitetura single-stream que a Sand.ai validou no daVinci-MagiHuman: texto, vídeo e áudio entram no mesmo Transformer e trocam informações diretamente dentro de cada camada de autoatenção. O design convencional executa vídeo e áudio em canais separados e os une com cross-attention no final. Começar a modelagem conjunta desde a primeira camada produz uma correspondência audiovisual muito mais fina, e um backbone unificado significa menor latência e custo de manutenção do que pipelines encadeados — o que também o torna naturalmente adequado ao escalonamento MoE.
Roteamento de especialistas em granularidade extrema
A peça central técnica é o Multi-Head LatentMoE. O modelo divide sua representação oculta de 3.072 dimensões em doze cabeças de 256 dimensões, e cada cabeça roteia de forma independente. O mesmo token é examinado em uma dúzia de subespaços de baixa dimensão — uma cabeça pode acompanhar a aparência de um personagem, outra seu movimento e timing, cada especialista fazendo seu próprio trabalho.
Ao longo das 36 camadas do corpo, cada camada contém 3.072 unidades de especialistas independentes. Cada token seleciona 6 especialistas dentro de cada cabeça — 72 pequenos especialistas ativados no total. Para comparação, gigantes MoE convencionais como o DeepSeek-V4-Pro ainda operam na ordem de centenas de especialistas por camada. O MAGI-2-preview vai aos milhares: mais especialistas, cada um com um subespaço menor e mais bem definido, para que o modelo possa montar um conjunto muito mais rico de combinações de capacidades.
Infraestrutura construída para mover 3.000 especialistas
Os frameworks MoE prontos para uso não conseguem agendar especialistas com essa granularidade, então a Sand.ai construiu sua própria stack:
- Biblioteca de kernels MagiMoE — funde roteamento, ordenação e computação dos especialistas em um único pipeline, reduzindo transferências intermediárias de VRAM, com passes forward e backward ajustados especificamente para MoE multi-cabeça.
- Head Parallel — distribui a computação por cabeça antes mesmo do roteamento acontecer, para que os dispositivos troquem representações de cabeças de forma fixa em vez de uma enxurrada flutuante de tokens roteados. O tráfego permanece constante independentemente de quantos especialistas sejam ativados, o que finalmente tira as longas sequências de vídeo do caminho crítico.
- Um otimizador híbrido — Muon para parâmetros de matrizes, AdamW para parâmetros dos especialistas, cada classe de pesos atualizando em seu próprio ritmo.
Dados: organizados, não filtrados
A maioria das equipes processa dados por filtragem progressiva, terminando com um corpus limpo, porém estreito. Modelos generativos precisam do oposto: diversidade — quanto mais amplo o mundo que um modelo já viu, mais convincentemente ele pode inventar novos. O pipeline do MAGI-2-preview primeiro expande o volume efetivo de dados e preserva a amplitude, depois os organiza por meio de anotação precisa. O pré-treinamento busca cobertura total; o pós-treinamento cuida do alinhamento de preferências, da controlabilidade e da segurança.
O que um MoE Aberto de Cem Bilhões Realmente Muda
Primeiro, a economia. Com 114 bilhões de parâmetros totais e cerca de 6 bilhões ativos por passagem, alugar oito H100s permite gerar um clipe de 10 segundos em 1080P por cerca de sete centavos de dólar — aproximadamente um décimo do que os modelos convencionais cobram. Em qualidade, o MAGI-2-preview ocupa a sexta posição no ranking de geração de vídeo AA, rozando o topo com apenas 6 bilhões de parâmetros ativos.
A verdadeira onda de choque está no ecossistema open-source, em três direções.
Para pesquisadores, é a primeira vez que qualquer um pode dissecar um MoE de vídeo em escala de centenas de bilhões em vez de apenas olhar de barrado para um artigo: como os especialistas dividem o trabalho, o roteamento permanece estável, como a comunicação é organizada, as leis de escalonamento se reproduzem? Essas perguntas finalmente têm um espécime público.
Para empresas, a abertura significa uma opção para implantação privada e fine-tuning em domínios específicos. Em finanças, saúde e ambientes industriais, manter os dados localmente e continuar treinando com material proprietário importa tanto quanto a qualidade bruta da geração — às vezes mais.
Para a estrutura da indústria, a comparação entre aberto e fechado está sendo redefinida. Costumava ser um concurso puro de qualidade; agora, se um modelo continua sendo treinado, e se sua interface responde a uma única plataforma, fazem parte da pontuação. Se os modelos abertos continuarem fechando a lacuna de qualidade, a geração de vídeo provavelmente repetirá o caminho dos modelos de linguagem: os modelos fechados competem pela experiência do produto, os abertos vencem pelo controle de implantação.
Redesenhando o Triângulo
A resposta do MAGI-2-preview ao triângulo impossível é arquitetural: mudar as fronteiras do triângulo em vez de escolher apenas dois lados. MoE não é uma ideia nova — mas escala de centenas de bilhões, vídeo e abertura total nunca haviam sido combinados, e a equipe que os combinou tem histórico. O fundador Cao Yue foi coautor principal do Swin Transformer, e Kai-Fu Lee chamou a Sand.ai de “a DeepSeek da geração de vídeo com IA”. De vídeo autorregressivo a geração conjunta de áudio e vídeo, até um MoE aberto, este grupo continua trilhando o caminho sem pegadas.
Ressalvas honestas se aplicam. Este é um preview, e a própria equipe observa que 6 bilhões de parâmetros ativos não têm o mesmo custo de um modelo denso de 6 bilhões — comunicação entre especialistas, roteamento, memória e implantação adicionam sobrecarga. O preview ainda terá que dar lugar a um lançamento oficial.
Mas uma afirmação já está consolidada: MoE em escala de centenas de bilhões não pertence mais apenas aos modelos de linguagem. Os pesos estão no GitHub — a dissecação pode começar.
