Treine um Robô Bípede com RL: Começando com o Microduck

Treine um Robô Bípede com RL: Começando com o Microduck

O Microduck é um robô bípede open-source de 25 cm e 800 g da Pollen Robotics (Hugging Face) que vem com sete movimentos pré-treinados — caminhar, sentar, chutar, agarrar com o bico, patinar no gelo e se levantar depois de uma queda. O que faz dele algo que vale o seu tempo como desenvolvedor não é a fofura: toda a stack de software está no GitHub sob Apache-2.0, e você pode treinar novas marchas você mesmo com aprendizado por reforço em um simulador de física e, em seguida, implantar a política aprendida direto no robô real.

Por que isso importa

A maioria das demos de RL para no simulador. O Microduck fecha o ciclo: treine no MuJoCo, exporte para ONNX e execute a mesma política a bordo a 50 Hz. É uma das introduções mais baratas e concretas ao pipeline sim-to-real que você pode comprar, e o código é totalmente legível, forkável e retreinável.

Como a stack é organizada

Dois repositórios carregam o trabalho:

  • pollen-robotics/microduck — o SDK e o software embarcado do robô. Acesse via SSH e use o robotctl para monitorar, configurar e atualizar o robô.
  • pollen-robotics/microduck-rl — as ferramentas de treinamento RL e sim-to-real.

O treinamento roda no MuJoCo Warp (construído sobre o framework Warp da NVIDIA) com o mjlab, um framework de treinamento que reimplementa a API do Isaac Lab. Uma marcha de caminhada utilizável treina em cerca de uma a duas horas simulando 4.096 patos virtuais em paralelo em uma GPU NVIDIA — ou na própria infraestrutura da Hugging Face.

Pipeline principal

O fluxo de trabalho se divide em três etapas:

  1. Simular — milhares de patos virtuais rodam em paralelo no MuJoCo Warp, cada episódio moldado por uma recompensa específica da tarefa.
  2. Treinar com PPO — o mjlab treina a política no simulador; o repositório inclui 13 famílias de tarefas para começar.
  3. Sim-to-real — exporte a política treinada e implante no loop de política embarcado do robô (50 Hz), onde ela controla os 15 motores com uma câmera, LiDAR e dois IMUs.

Pontos de partida

Os 7 movimentos embarcados estão todos publicados e podem ser retreinados, então você pode escolher um como baseline em vez de treinar do zero. Quer um primeiro experimento? Faça um fine-tuning da recompensa de caminhada sobre uma marcha existente, observe a curva de recompensa e depois compare lado a lado o comportamento no simulador e no robô real.

Dicas práticas

  • Uma GPU NVIDIA (ou infra da HF) é praticamente obrigatória para o loop de treinamento em paralelo — não espere treinar marchas em uma CPU de notebook.
  • Atenção à divisão de licenças: o software é Apache-2.0, mas os arquivos de design mecânico/eletrônico são licenciados de forma não comercial, então esta é uma plataforma de software open-source, não um hardware open-source.
  • Para uma forma leve de mexer na simulação, wrappers da comunidade como o microduck-mcp permitem controlar o pato simulado a partir de qualquer cliente MCP.

Recursos

Notícias Relacionadas