Enquanto todos trabalham para tornar os grupos de treinamento por RL cada vez maiores, os pesquisadores da Tsinghua disseram — talvez o menor grupo possível seja o melhor.
O aprendizado por reforço (RL) está se tornando o motor central do pós-treinamento de LLMs. Do DeepSeek-R1 à série o da OpenAI, o RL ensinou os modelos a raciocinar, programar e usar ferramentas. Mas o gargalo de eficiência do RL está se tornando o novo teto. Especialmente em tarefas de agentes de longo horizonte, o modelo precisa de interação em múltiplos turnos, chamadas de ferramentas e feedback do ambiente — um único rollout pode chegar a milhares ou dezenas de milhares de tokens. E a maioria dos pipelines de RL ainda usa batching síncrono: espera-se que todo o grupo de rollouts termine para só então atualizar o modelo em conjunto.
A consequência: dentro de um batch, os rollouts rápidos esperam os lentos. As GPUs ficam ociosas; o modelo, em espera.
O RL assíncrono poderia, em tese, resolver isso — atualizar assim que cada rollout é concluído. Mas o RL assíncrono sempre carregou um dilema central: quando o modelo é atualizado, os rollouts ainda em andamento se tornam “dados obsoletos”, introduzindo viés off-policy e colapsando a estabilidade do treinamento. Uma equipe de pesquisa do laboratório KEG da Tsinghua acaba de publicar um artigo no arXiv com uma solução contraintuitiva — Otimização Assíncrona de Rollout Único (SAO). Não aumentar o grupo. Reduzi-lo ao mínimo.
O Dilema do Grupo no GRPO: Maior Não É Necessariamente Mais Estável
Para entender o valor do SAO, comece pelo motivo do domínio atual do GRPO. O GRPO (Group Relative Policy Optimization) é o método de RL usado pelo DeepSeek-R1: para cada prompt, amostra-se um grupo de rollouts e usa-se seu desempenho relativo como sinal de vantagem para atualizar o modelo. O grupo serve a dois propósitos — uma estimativa de vantagem estável (a comparação dentro do grupo cancela o viés) e a diluição de ruído por meio de múltiplos rollouts.
Mas o GRPO se apoia em duas suposições ocultas que as tarefas de agentes de longo horizonte desmentem. Primeira: todo o grupo precisa terminar antes da atualização. A vantagem relativa exige que cada rollout do grupo seja concluído — e em tarefas de longo horizonte, os tempos de execução divergem drasticamente. Um rollout pode terminar em 10 passos; outro precisa de 50. Os recursos de GPU se desperdiçam na espera. Segunda: a amostragem em grupo é naturalmente incompatível com a assincronia. A essência do RL assíncrono é “chega um, treina um”. O GRPO precisa do grupo — chegar-um-treinar-um não permite calcular a vantagem relativa. As duas abordagens conflitam na raiz. A indústria, então, enfrentava uma questão de múltipla escolha: sacrificar eficiência pela estabilidade (GRPO síncrono) ou sacrificar estabilidade pela velocidade (assíncrono). A contribuição do SAO foi transformar esse “ou/ou” em “ambos”.
O Design de Rollout Único: Quatro Mecanismos contra Uma Contradição
A ideia central do SAO é direta: gerar um único rollout por entrada e alimentá-lo no treinamento imediatamente após a conclusão. Mas um rollout único enfrenta dois problemas letais — a estimativa de vantagem fica refém da qualidade daquele rollout (alta variância), e os parâmetros do modelo em constante mudança no ambiente assíncrono fabricam continuamente viés off-policy. A equipe respondeu com quatro mecanismos:
1. Amostragem de importância bilateral direta (DIS). Como a geração de rollouts e o treinamento do modelo estão fora de sincronia, o SAO registra as probabilidades logarítmicas em nível de token durante a própria fase de rollout. Na atualização, ele calcula uma razão de amostragem de importância por token, e qualquer token fora do intervalo definido pula sua atualização de gradiente. Em essência: “só aprendo com tokens que não expiraram”.
2. Atualizações do modelo de valor com taxa dupla. O treinamento com rollout único tem maior variância de gradiente, exigindo um modelo de valor mais confiável para a estimativa de vantagem. O SAO desacopla a cadência de atualização — a cada atualização do modelo de política, o modelo de valor atualiza duas vezes. Calibrações de valor mais frequentes reduzem o ruído nas estimativas de gradiente.
3. Congelar os módulos de atenção. A equipe descobriu que a volatilidade do treinamento do modelo de valor vinha principalmente das camadas de atenção completa, enquanto as camadas MoE permaneciam relativamente estáveis. Assim, durante o treinamento do modelo de valor, o SAO congela os parâmetros de atenção e otimiza apenas as projeções do MoE — uma estratégia precisa de “não mexa na parte mais bagunçada”.
4. Ignorar tokens de observação no GAE. Em trajetórias de agentes multi-turno, as ações do modelo e o feedback do ambiente se alternam. Incluir tokens de observação no cálculo da vantagem injeta muito ruído, então o SAO exclui os tokens de feedback do ambiente do GAE (generalized advantage estimation), propagando a vantagem apenas entre os tokens gerados pelo próprio modelo.
Os quatro designs compartilham um objetivo: comprimir a variância e o viés do rollout único até equiparar-se à amostragem em grupo. O resultado: o SAO se manteve estável ao longo de 1.000 passos de treinamento, enquanto a linha de base VAPO colapsou aos 90.
Os Três Princípios do “Stream RL”: Do Pensamento em Lotes ao Pensamento em Streams
Como framework reutilizável, o SAO equivale a três princípios do “Stream RL” — em oposição ao pensamento dominante atual do “Batch RL”:
| Dimensão | Batch RL (pensamento antigo) | Stream RL (pensamento novo) |
|---|---|---|
| Granularidade de amostragem | Atualizar após o grupo ser concluído | Atualizar imediatamente por rollout |
| Controle de viés | Cancelado por estatísticas dentro do grupo | Clipping de amostragem de importância em nível de token |
| Estimativa de valor | Atualizações na mesma frequência | Calibração em alta frequência (2:1) |
A suposição central do Batch RL é a robustez por meio de estatísticas. A do Stream RL é a eficiência por meio de controle preciso. Essa troca é, na essência, uma escolha entre “confiar nas estatísticas” e “confiar na engenharia” — e o SAO provou que a segunda é superior em cenários de agentes de longo horizonte: controle cada fonte de viés com precisão suficiente e você não precisa mais de um grupo grande para diluir o ruído na média.
Aprendizado Online: O Verdadeiro Jogo de Longo Prazo do SAO
O experimento mais notável do SAO não são os 97,3% no AIME 2025 nem os 29,8% no SWE-Bench — é a simulação de aprendizado online. A equipe criou uma tarefa simulada de escrita cuja preferência de recompensa alternava entre “estilo fofo”, “estilo chunibyou” e “estilo clássico”. A cada mudança de preferência, o SAO se realinhava rapidamente ao novo objetivo, enquanto uma linha de base com média móvel ficava visivelmente para trás.
Por que isso importa? Em implantações reais, as preferências dos usuários, os objetivos de negócio e as restrições de segurança mudam dinamicamente. O Batch RL precisa de uma função de recompensa fixa — mude a recompensa e todo o grupo de rollouts anteriormente amostrado vira desperdício. Mas a granularidade de rollout único se adapta naturalmente a ambientes dinâmicos: faça um, avalie um, atualize um — cada ciclo reage ao sinal de recompensa mais recente. Essa é a vantagem mais fundamental do SAO sobre o GRPO: ele move o treinamento por RL do aprendizado histórico em lotes para a adaptação em tempo real baseada em streams.
O GLM-5.2 (750B-A40B) já implantou o SAO para seu treinamento de RL de agentes — o que significa que um dos maiores modelos MoE da China está agora sendo treinado por RL com o método de granularidade mínima.
Implicações para Equipes de Treinamento de LLMs
O SAO é um começo — a equipe reconhece que os experimentos atuais se concentram no Qwen3-30B-A3B e em tarefas de agentes; a aplicabilidade a modelos menores e cenários de RLHF fora de agentes precisa ser verificada. Mas a direção é clara:
-
Construindo um pipeline de RL para agentes? Priorize a arquitetura assíncrona e observe a granularidade dos rollouts, não o tamanho do batch. O gargalo de eficiência geralmente é a espera síncrona, não o poder computacional. Os quatro mecanismos do SAO são reutilizáveis diretamente — especialmente o DIS e as atualizações de valor com taxa dupla.
-
Construindo ferramentas de RL (veRL, OpenRLHF)? O rollout único assíncrono é um modo de treinamento que merece suporte nativo. Os frameworks atuais assumem batching síncrono, então as mudanças são consideráveis — mas o retorno é a latência do treinamento caindo de horas para minutos.
-
Pensando na próxima direção do RL? A adaptação online em tempo real é a capacidade a ser observada. Quando um modelo pode aprender enquanto está em produção, se ajustando conforme avança, o RL deixa de ser um investimento único de pós-treinamento e se torna uma capacidade central de execução do próprio produto.
Por fim, o SAO oferece uma lição contraintuitiva que todo engenheiro de treinamento de IA deveria memorizar: às vezes, o menor grupo é o melhor grupo. A questão nunca foi o tamanho do grupo — é quanto cuidado você dedica a controlar o viés em cada token.
Artigo: Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning (Laboratório KEG da Tsinghua) · Autores: Zhenyu Hou et al. · Implantação: GLM-5.2 (750B-A40B)
