Resumo: o professor de Stanford Percy Liang iniciou um treinamento totalmente público de um modelo de 535 bilhões de parâmetros. Curvas de perda ao vivo, misturas de dados de treinamento, configurações e logs de engenharia estão abertos a qualquer pessoa. Esta é a primeira tentativa séria de transformar o treinamento em escala de fronteira em uma ciência observável — e o começo do fim da caixa-preta do treinamento.
Percy Liang, professor de Stanford e fundador da Simile AI, deu início à execução principal do Marin 535B-A23B, um modelo Mixture-of-Experts com 535B de parâmetros totais e 23B ativados. Todo o processo está sendo transmitido ao público: curvas de perda em tempo real no Weights & Biases, composição dos dados, configuração de treinamento e logs de engenharia publicados conforme acontecem. Para quem sempre se perguntou o que realmente acontece dentro de um treinamento de nível GPT-4, esta é a primeira vez que a resposta é exibida abertamente, em vez de ficar trancada dentro de um laboratório.
O Plano: Um MoE de 535B, Treinado às Claras
O Marin 535B-A23B não é um projeto científico pequeno. O laboratório preparou 18,75 trilhões de tokens de dados de treinamento e implantou 11 sistemas GB200 NVL72 — cerca de 792 GPUs GB200. A execução deve durar cerca de três meses e consumir aproximadamente 2,7e24 FLOPs, seguida por uma fase de pós-treinamento. Em outras palavras: pelos próximos meses, qualquer pessoa pode assistir a um modelo de fronteira crescer do zero — dados entram, curvas de perda saem.
A Escada de Escalonamento: Quatro Execuções Pequenas Antes da Execução Principal
Antes da execução principal, a equipe treinou uma Escada de Escalonamento em quatro estágios, de um modelo 1.6B-A61M com 48B de tokens até um modelo 27.7B-A1.2B com 926B de tokens. Percy Liang dá duas razões: primeiro, detectar e depurar problemas em pequena escala antes de gastar dinheiro de verdade; segundo, usar o comportamento das execuções pequenas para calibrar previsões para a execução principal. Ele também é honesto sobre os limites da previsão — este é o maior treinamento que sua equipe já realizou, e ele espera que coisas inesperadas aconteçam. A escada é o que existe de mais próximo de uma metodologia pública e reproduzível para reduzir os riscos de uma execução de fronteira.
O Que o Treinamento Aberto Realmente Revela
Para o GPT-4, Claude e Gemini, os de fora veem apenas benchmarks finais e um paper ocasional. Proporções de mistura de dados, execuções que falharam, hiperparâmetros eficazes, trajetórias de perda, se as leis de escalonamento se mantiveram — tudo desconhecido. O Marin publica tudo isso: a mistura de dados e como cada domínio entra no modelo, configurações de treinamento, código, desenho experimental, perda ao vivo, estado do modelo e previsões estágio a estágio. Até mesmo os pequenos artefatos viram material didático. O membro da comunidade James Thewlis notou um pico de norma por volta do passo 500 e o rastreou até o router_bias, a heurística de balanceamento de tokens do MoE — um parâmetro que não é treinado por gradiente. Esse ciclo de pergunta e resposta é todo o propósito: o treinamento se torna discutível e colaborativo, como um software de código aberto ou um paper publicado.
Por Que Isso é uma Mudança Estrutural, Não um Espetáculo
Três motivos pelos quais isso importa além do espetáculo. Primeiro, a observabilidade transforma alegações de escalonamento em fatos verificáveis — se uma extrapolação estiver errada, todos veem em tempo real. Segundo, a transparência é uma pré-condição para uma governança de IA significativa: não se pode auditar o que não se pode ver. Terceiro, o treinamento ao vivo é um aprendizado em escala sem precedentes; milhares de engenheiros podem aprender como uma execução com 800 GPUs realmente se comporta. Mais fundamentalmente, isso redefine o que “aberto” significa — não apenas pesos liberados, mas um processo aberto. Quando uma execução de cerca de três meses e milhões de dólares em computação é operada publicamente de propósito, a abertura deixa de ser uma postura de relações públicas e se torna a própria estratégia. É o próximo passo natural após a mudança de toda a indústria para modelos de pesos abertos, como a movimentação de US$ 6 bilhões da Nvidia na corrida de pesos abertos. Nosso mergulho profundo nos mecanismos detalha a matemática do MoE, o paralelismo de especialistas escrito à mão e a escada de escalonamento.
O Que Você Pode Fazer Agora
- Assista à execução: curvas ao vivo no W&B em wandb.ai/marin-community/marin_moe, a visão geral da composição de dados e o tópico no GitHub em github.com/marin-community/marin/issues/8435.
- Estude os artefatos: o pico de norma do router_bias por volta do passo 500 é um estudo de caso pronto sobre a dinâmica do MoE.
- Copie o manual: antes de uma execução grande própria, rode primeiro uma escada de escalonamento pequena — a abordagem em quatro estágios se adapta a qualquer orçamento de computação.
- Se você dirige um laboratório: trate a transparência do processo como infraestrutura de governança e recrutamento, não como um custo.
P: Posso realmente assistir a um modelo de 535B ser treinado ao vivo?
R: Sim. O laboratório Marin publica curvas de treinamento em tempo real no Weights & Biases (wandb.ai/marin-community/marin_moe), além de uma visão geral da composição de dados e um tópico no GitHub com detalhes do treinamento. A execução dura cerca de três meses.
P: O que exatamente é o Marin 535B-A23B?
R: Um LLM Mixture-of-Experts com 535B de parâmetros totais e 23B de parâmetros ativos, treinado com 18,75 trilhões de tokens usando 11 sistemas GB200 NVL72 (cerca de 792 GPUs GB200) — aproximadamente 2,7e24 FLOPs de computação.
P: Por que o treinamento totalmente aberto é um grande negócio?
R: Os laboratórios de fronteira mantêm em segredo as misturas de dados, execuções que falharam e hiperparâmetros; você só vê os benchmarks finais. O Marin publica o próprio processo — dados, configurações, código e perda ao vivo — transformando o treinamento em uma ciência observável e auditável.
