Tsinghua SEED Preenche a Lacuna de Supervisão em RL com Destilação Autodesenvolvente

Resultado correto, logo todos os passos foram corretos? Esse é o ponto cego no treinamento de agentes.

O paradigma dominante para treinar agentes que completam autonomamente tarefas de longo horizonte é o pós-treinamento com aprendizado por reforço. A lógica é intuitiva: o agente executa uma sequência de ações, o ambiente retorna uma recompensa final — sucesso ou falha — e o RL atualiza a política com base nesse sinal.

Mas um problema fundamental se esconde dentro disso: um resultado correto não significa que todos os passos estiveram certos. Uma trajetória fracassada pode conter raciocínios brilhantes e chamadas de ferramentas inteligentes; uma bem-sucedida pode estar repleta de sorte e movimentos desperdiçados. RL baseado em resultado carrega apenas um bit de sinal — aprova ou reprova — e não consegue dizer “a chamada de ferramenta no passo 37 foi engenhosa, reforce-a” ou “o passo 12 foi na direção errada; não faça isso de novo”.

Isso é o que os pesquisadores chamam de lacuna de supervisão — entre recompensas de resultado no nível do episódio e aprendizado da política no nível do token, não há um sinal de feedback refinado e orientado ao processo. A equipe de Tao Jianhua, da Universidade Tsinghua, propôs recentemente o SEED (Self-Evolving On-Policy Distillation), mirado diretamente nessa lacuna. O nome revela a ideia: deixar o agente se autodesenvolver durante o treinamento, convertendo as trajetórias que já percorreu em “habilidades retrospectivas” e depois destilando-as de volta para a política. O artigo está em arXiv:2607.14777, com código open source no GitHub.

Como o SEED Funciona: um Ciclo de Autodesenvolvimento em Duas Etapas

Etapa um: SFT de habilidades retrospectivas. Primeiro, a política base coleta um lote de trajetórias de interação. Em seguida, um analisador externo (que pode ser um LLM separado) resume cada trajetória completa em “habilidades” em linguagem natural — trajetórias bem-sucedidas geram fluxos de trabalho e estratégias reutilizáveis; as fracassadas abstraem os padrões a evitar e as correções a aplicar. Esses pares de trajetória-para-habilidade alimentam um ajuste fino supervisionado que ensina ao modelo dois papéis: como analisador, extrair habilidades retrospectivas de alta qualidade das trajetórias; como ator, usar essas habilidades para melhorar as decisões em tarefas futuras.

Etapa dois: destilação autodesenvolvente on-policy — a inovação central. Durante o RL, o próprio modelo de política atual atua como ator e analisador:

2. Coletar trajetórias: o ator executa tarefas no ambiente, gerando trajetórias on-policy.

3. Analisar habilidades: o analisador extrai habilidades retrospectivas delas.

4. Pontuação por contraste: para a mesma ação, o SEED compara a probabilidade do modelo “com contexto de habilidade” versus “sem” — a mudança de probabilidade é a influência medida da habilidade.

5. Destilar: essa mudança de probabilidade se torna um sinal denso de destilação on-policy no nível do token, otimizado em conjunto com o GRPO.

Então o ciclo se repete: à medida que a política se atualiza, as trajetórias da próxima rodada melhoram, as habilidades extraídas se refinam e o sinal de destilação evolui junto. A percepção-chave: essa supervisão retrospectiva vem das próprias trajetórias atuais do modelo e evolui dinamicamente com a política — em vez de ser um corpo estático de conhecimento instruíndo um modelo em atualização dinâmica.

Resultados: Supervisão Densa Supera Recompensas Terminais

A equipe avaliou em três tarefas canônicas de agentes de longo horizonte — interação corporificada (ALFWorld), navegação web (WebShop) e QA com busca:

• Supera o GRPO em todos os cenários: no ALFWorld, o SEED supera o GRPO puramente orientado a resultado em 45,9 pontos percentuais.

• Internalizar supera remendar: comparado a fornecer prompts de habilidades na inferência (Skill-Prompt), o SEED performa melhor sem nenhuma entrada adicional — as habilidades estão dentro dos parâmetros.

• Dinâmico supera estático: contra métodos de destilação com biblioteca de habilidades fixa (OPSD, Skill-SD), o autodesenvolvimento vence com clareza, porque se adapta a novas trajetórias e aos novos modos de falha que surgem durante o treinamento.

• Duplica a eficiência amostral: o SEED supera o GRPO treinado no conjunto de dados completo usando apenas 60% dele.

• Generalização entre tarefas: no conjunto de tarefas não vistas do ALFWorld, o sucesso da macro-média sobe de 70,9% para 86,2%.

• Extensão multimodal: em benchmarks de agentes visuais (Sokoban, EZPoints), o sucesso médio sobe de 77,0% para 91,0%.

A Era da Análise Retrospectiva no Treinamento de Agentes

A contribuição central do SEED é menos um novo algoritmo e mais uma percepção subestimada: o caminho que o próprio agente percorreu é o melhor professor. Um ano de discussões sobre agentes se fixou em planejamento, uso de ferramentas e execução de longo horizonte; quase ninguém perguntou seriamente como um agente aprende com seus próprios erros depois deles. Os sinais terminais de RL são escassos demais — “você falhou, nota zero” — sem nenhuma dica de onde. Dados de preferência rotulados por humanos (RLHF) oferecem feedback mais fino, mas custam caro demais para escalar.

A astúcia do SEED: o agente é seu próprio melhor supervisor. Cada trajetória que ele percorre — sucesso ou falha — contém experiência reutilizável. Traduzir sequências de ações em habilidades em linguagem natural e depois destilar a influência comportamental dessas habilidades de volta para a política é, essencialmente, uma análise pós-jogo automatizada. Espelha como os humanos aprendem: um grande jogador de xadrez sempre revisa a partida — por que este lance foi forte, por que aquele foi um erro — e as lições da revisão se cristalizam na intuição da próxima partida. O SEED instala um motor de revisão automática no agente.

Limites e Direções a Observar

• Tarefas complexas não comprovadas: em benchmarks de fluxos mais longos e recompensas mais esparsas, como DeepPlanning e OdysseyArena, o desempenho do SEED ainda precisa ser testado.

• Autodesenvolvimento carrega risco: ator e analisador compartilham um único modelo, então erros podem ser sumarizados como “experiência” e reforçados repetidamente — como revisar suas partidas sozinho, sem validação externa, um ciclo de autoverificação esperando para acontecer.

• Custo de treinamento: a inferência não tem overhead, mas o treinamento exige análise de trajetórias e pontuação pareada, o que pode crescer com a complexidade da tarefa.

Os limites apontam para direções promissoras: mudanças de estado verificáveis como âncoras para a qualidade das habilidades, mecanismos conscientes de incerteza para filtrar experiência não confiável, e analisar apenas trajetórias pivotais para comprimir o custo de treinamento.

Para Times que Constroem Agentes

2. Pare de encarar apenas as taxas finais de sucesso. Registre cada trajetória do agente — as falhas são tão valiosas quanto os sucessos.

3. Internalize a experiência em vez de remendá-la. Exemplos few-shot em prompts tratam sintomas; capacidades destiladas nos parâmetros realmente transferem.

4. Deixe os agentes aprenderem com a própria experiência. Não é necessário rotulamento humano caro — os caminhos já percorridos são dados de treinamento. A questão é como extrair essa experiência de forma automática e dinâmica.

O próximo campo de batalha dos agentes de IA talvez não seja qual modelo é maior ou qual caixa de ferramentas é mais cheia — será quem ensinou seu agente a revisar as próprias partidas.