slime - GLM RL Training Framework

Introdução

slime é um framework open-source de aprendizado por reforço para pós-treinamento de LLMs desenvolvido pela equipe THUDM da Zhipu AI. Ele serve como infraestrutura de treinamento RL por trás da família de modelos GLM, do GLM-4.5 ao GLM-5.2. Em sua essência, o slime conecta de forma integrada o motor de treinamento Megatron ao framework de inferência SGLang, de modo que treinamento, inferência, geração de dados, cálculo de recompensas e interação com o ambiente compartilham um único pipeline unificado. A filosofia central do slime é evitar transformar o sistema em uma pilha pesada de treinadores, serviços de inferência e frameworks de agentes separados — em vez disso, todos os componentes colaboram por meio de um caminho unificado de treinamento/inferência/buffer de dados, mantendo o sistema simples e escalável.

Principais Recursos

• Validado em modelos de fronteira: o slime é o framework de treinamento RL por trás de modelos de nível SOTA, incluindo GLM-5.2, GLM-5.1, GLM-5, GLM-4.7, GLM-4.6 e GLM-4.5, totalmente verificado em ciclos completos de treinamento.
• Integração nativa Megatron + SGLang: os parâmetros do Megatron são repassados diretamente, enquanto os parâmetros do SGLang são expostos com o prefixo --sglang-, de modo que otimizações upstream de treinamento e inferência não exigem camadas extras de wrapper.
• Treinamento BF16 + inferência FP8: modelos MoE de grande escala usam treinamento Megatron BF16 combinado com inferência SGLang FP8, com suporte a FP8 KV Cache para aumentar a capacidade efetiva de cache.
• Fluxos de trabalho de agentes como geração de dados: chamadas de ferramentas, interação com sandbox, recompensas por verificadores e loops multi-agentes podem todos ser conectados ao mesmo pipeline de treinamento.
• Agentic RL flexível: suporta treinamento de aprendizado por reforço agêntico, geração de código com recompensas por verificadores e cenários de raciocínio em cadeias longas.

Destaques

• Preços: não estão publicamente listados nas páginas que analisamos; consulte o site oficial para conhecer os planos atuais.
• Plano gratuito: o slime é um framework open-source; o código está disponível no GitHub e pode ser auto-hospedado sem custo de licença.
• Opções de instalação: é possível usar uma imagem Docker pré-preparada (com Megatron, SGLang e patches do slime) ou uma compilação via conda a partir do código-fonte; são necessários hosts GPU Linux x86_64 com drivers NVIDIA.
• Requisitos de hardware: a imagem recomendada é voltada para GPUs Hopper / Blackwell com CUDA 13.0, portanto os usuários devem planejar seu próprio poder computacional de GPU em vez de taxas de framework.
• Disponibilidade de plataforma: roda como uma pilha de treinamento auto-hospedada que conecta Megatron ao SGLang; projetos complementares (straw, sunabako) estendem o manuseio de dados de rollout e sandboxes de agentes Linux.

Para Quem É

O slime foi construído para pós-treinamento de LLMs — aplicando treinamento de alinhamento por RL a modelos pré-treinados. Também é ideal para pesquisa em Agentic RL, na qual desenvolvedores exploram aprendizado por reforço para chamadas de ferramentas e raciocínio em múltiplas etapas. Além disso, ele suporta fluxos de trabalho de ajuste fino e compressão de modelos ao aproveitar a combinação de inferência FP8 e treinamento BF16 para reduzir os requisitos de recursos.