Enquanto a maioria dos laboratórios ainda discute se deve ou não liberar os pesos dos modelos, o projeto Marin, de Stanford, fez algo mais estranho: começou a treinar um modelo de 535 bilhões de parâmetros na frente de todo mundo — com código, receita de dados, curvas de loss e issues do GitHub incluídos — sem garantia nenhuma de que não vai fracassar no meio do caminho.
Percy Liang, professor de Ciência da Computação em Stanford e cofundador da Together AI por trás do projeto, anunciou o lançamento do Marin 535B-A23B no X na semana passada. O post passou de 800 mil visualizações e recebeu um raro endosso público de Andrew Ng, que chamou o projeto de “uma demonstração preciosa” da abertura em IA e lembrou ao campo que a liberação pública de pesquisas de IA “costumava ser a norma da indústria”. Para o lançamento em si, veja nossa cobertura anterior; este artigo aprofunda no mecanismo — a matemática do MoE, o paralelismo de especialistas escrito à mão e a escada de escalonamento que transformam uma execução pública em um experimento controlado.
O que está sendo aberto não é apenas o modelo. É a receita — e o próprio processo.
Como é, na prática, um “laboratório aberto”
O Marin funciona com um mecanismo de laboratório aberto. Todo experimento começa como uma issue no GitHub que declara sua hipótese e objetivos antes do início do treinamento. As configurações são submetidas como código e pull requests, abertos para revisão de pesquisadores externos. Assim que uma execução começa, as métricas de treinamento do W&B se tornam públicas. Sucessos, fracassos e correções de rota são todos registrados em tempo real. Os dados, o código, a receita e os pesos finais permanecem abertos depois.
Os números desta execução: 18,75 trilhões de tokens (~80% de pré-treinamento, 20% de mid-training), 11 sistemas NVIDIA GB200 NVL72, cerca de três meses e aproximadamente 2,7×10²⁴ FLOPs no total — após os quais o projeto passa para o pós-treinamento.
A matemática do MoE: por que 535B não é 535B
O Marin 535B-A23B é um modelo mixture-of-experts. O “535B” é o total de parâmetros; o “A23B” significa que apenas ~23 bilhões de parâmetros estão ativos para um dado token. Um módulo de roteamento decide quais especialistas processam cada token — e é exatamente por isso que o MoE voltou a ser o caminho dominante: a capacidade total pode continuar crescendo sem que o compute por token cresça na mesma proporção.
Os detalhes do design importam. Cada camada mantém 2 especialistas compartilhados mais 8 especialistas roteados, todos com meia largura, com os especialistas roteados ainda mais comprimidos em 2×. Cerca de um terço do compute dos especialistas vem dos especialistas compartilhados, sempre ativos — uma escolha deliberada para reduzir o risco de token dropping, o assassino silencioso da qualidade no treinamento MoE.
Token dropping é o imposto do balanceamento de carga: quando os tokens de um batch se distribuem de forma desigual entre os especialistas, os limites de capacidade forçam alguns tokens a ser descartados em vez de processados integralmente. Nas próprias execuções do Marin, o descarte subiu de ~7% para ~40% quando o comprimento de contexto passou de 4K para 65K — porque, com um batch de tokens fixo, contextos mais longos significam menos sequências independentes por batch e pior balanceamento de carga entre especialistas. É por isso que o Marin 535B começa com contexto de 4K, e por que o seu paralelismo de especialistas pooled/wave experimental reduziu o descarte a ~3% em 4K. Eles admitem abertamente que o número pode disparar de novo em 65K.
A aposta de infraestrutura: EP escrito à mão no GB200
Os gargalos do treinamento MoE raramente são FLOPs brutos. São a comunicação all-to-all, o desbalanceamento de carga entre especialistas e o acesso à memória. Quando um token é roteado para um especialista que está em outra GPU ou rack, o sistema precisa enviar o token até lá e trazer o resultado de volta.
As execuções de 8B e 32B do Marin rodaram em TPUs do Google. A execução do 535B migra para clusters de GPUs NVIDIA GB200 NVL72 — então a equipe escreveu à mão uma implementação de paralelismo de especialistas para JAX/XLA/Levanter, após não encontrar nenhuma opção pronta para produção nesse stack. O GB200 NVL72 reúne 72 GPUs Blackwell e 36 CPUs Grace em um domínio NVLink em escala de rack, que é exatamente o tipo de hardware que um MoE com comunicação pesada deseja. No outro lado da corrida de hardware, o primeiro chip da OpenAI, o Jalapeño, mostra como a camada de inferência também está sendo reinventada.
A escada de escalonamento: leis de escala como sistema de detecção de falhas
O Marin não despejou todo o seu compute diretamente no 535B. Primeiro, ele treinou uma escada de escalonamento de quatro degraus com modelos MoE menores — de 1,6B de parâmetros totais (61M ativos) até 27,7B (~1,2B ativos) — usando cerca de 1% do compute final.
A escada faz três trabalhos: ela prevê qual loss a execução do 535B deveria atingir em cada etapa (assim, um desvio sinaliza um problema cedo, em vez de depois de trilhões de tokens); ela expõe problemas de estabilidade a baixo custo (execuções anteriores da escada encontraram normas de gradiente subindo acima de 4 em cronogramas longos, levando ao logit z-loss para prevenir divergência); e ela separa flutuação normal de sinais de alerta de pré-divergência.
Há também um plano de contingência declarado: se problemas surgirem nos primeiros 25% do orçamento de tokens, a equipe pode encurtar a contagem final de tokens e reajustar o decay da learning rate e a mistura de dados — em vez de simplesmente seguir em frente mecanicamente.
De pesos abertos a processo aberto
Esta não é a primeira execução pública de treinamento. O BLOOM do BigScience (2022) transmitiu logs do TensorBoard; Pythia, LLM360 e OLMo, da Ai2, abriram dados, código, logs e checkpoints. O anúncio do Marin credita explicitamente esses predecessores — EleutherAI, AI2, Hugging Face, BigScience, BigCode, LLM360 — e, junto a apostas pesadas em pesos abertos como a ofensiva de modelos abertos de US$ 6 bi da Nvidia, diz querer ir um passo além: tornar a abertura o modo de trabalho padrão do laboratório, da hipótese ao fracasso, em vez de uma necropsia arrumada depois que o treinamento termina.
A analogia com software é precisa. No GitHub, desenvolvedores podem ler issues, submeter código, revisar PRs e reproduzir bugs. Hoje, os experimentos com modelos fundacionais rodam em clusters fechados; quem está de fora vê os pesos prontos e um relatório técnico — não as decisões, não as execuções que falharam. O Marin está tentando importar o fluxo de trabalho do GitHub para dentro do próprio treinamento de modelos.
O que significa se funcionar (ou falhar)
Os pesos abertos responderam “quem pode usar o modelo”. O Marin pergunta “quem pode saber como o modelo foi feito”. Se a execução tiver sucesso, a comunidade aberta ganha um raro espécime de treinamento MoE em larga escala. Se falhar no meio do caminho, a trajetória pública do fracasso tem, em si, valor de pesquisa.
De qualquer forma, as lições transferíveis — comportamento do roteamento de especialistas, dinâmica do token dropping, anomalias de gradiente, escalonamento de contexto longo, paralelismo de especialistas em JAX no GB200 — são reutilizáveis em qualquer tamanho de modelo. Para equipes que não podem arcar com 2,7×10²⁴ FLOPs, este é um curso gratuito sobre como o treinamento em escala de fronteira se comporta de verdade.
Mantenha as ressalvas na mesa: abertura não é o mesmo que desempenho de fronteira. Um MoE de 535B não equivale a um modelo denso de 535B; o loss de pré-treinamento mede apenas o ajuste aos dados; capacidades de código, matemática, uso de ferramentas e agentes dependem muito do mid-training e do pós-treinamento. O projeto está no começo — até a contagem de tokens ainda está sendo alinhada (o título no GitHub diz 18T; o anúncio diz 18,75T).
O que fazer com isso
- Se você treina ou faz fine-tuning de modelos MoE: acompanhe os números de token dropping e a abordagem de EP pooled/wave. A estratégia “começar em 4K, estender depois” é uma lição barata e imediatamente utilizável.
- Se você é um pesquisador sem muito compute: a metodologia da escada de escalonamento é replicável em pequena escala — monitoramento da norma do gradiente e z-loss custam quase nada e detectam divergência cedo.
- Se você lidera uma organização de IA open source: o fluxo de trabalho do laboratório aberto (issues → PRs → métricas públicas) é um template concreto de transparência para além dos pesos.
- Todos os outros: salve o repositório do GitHub e os dashboards do W&B nos favoritos. Assistir a uma execução de ~100 dias se desenrolar em público é o mais próximo de um estudo de caso ao vivo da economia do treinamento de fronteira.
FAQ
P: Por que vale a pena acompanhar a execução do Marin 535B?
R: É a primeira execução de treinamento de fronteira tratada como um experimento aberto — 18,75 trilhões de tokens, 11 sistemas GB200 NVL72, cerca de três meses, aproximadamente 2,7×10²⁴ FLOPs. O sucesso rende um espécime MoE em larga escala; uma falha no meio do caminho deixa uma trajetória pública de fracasso. De qualquer forma, há valor de pesquisa.
P: Como um MoE de 535B é diferente de um modelo denso de 535B?
R: 535B é o total de parâmetros; A23B significa que apenas cerca de 23 bilhões são ativados por token, então o compute por token fica bem abaixo de um modelo denso de mesmo tamanho — exatamente por que o MoE voltou a ser dominante.
P: O que posso usar já no meu próprio treinamento?
R: Três coisas: começar com contexto de 4K (o descarte cai de cerca de 40% para cerca de 3%), rodar primeiro uma escada de escalonamento (cerca de 1% do compute final) e monitorar as normas de gradiente junto com o logit z-loss para prevenir divergência (custo quase zero).
