NeMo Switchyard: roteie workloads de agentes e corte custos em 74%

Agentes de IA de longa duração queimam a maior parte do orçamento de tokens em execução rotineira — chamadas de ferramentas, validação, formatação de retrieval, sumarização, classificação. Enviar tudo para um modelo de fronteira faz você gastar demais. Enviar para um modelo pequeno faz a qualidade desabar nas etapas difíceis. A NVIDIA lançou duas peças open-source em 11 de agosto que tornam o caminho do meio viável: Nemotron 3.5 Lightning, um MoE de 30B com apenas 3B de parâmetros ativos, criado justamente para essa camada de execução, e o NeMo Switchyard, uma biblioteca open-source de roteamento de modelos que decide qual modelo cuida de qual etapa.

O que você recebe

Nemotron 3.5 Lightning — pesos totalmente abertos, livre para download, uso e modificação comercial. Até 4× mais rápido em saída vs. modelos da mesma classe e ~30% mais rápido na conclusão de tarefas de agentes no PinchBench da NVIDIA. Arquitetura híbrida Mamba-transformer com multi-token prediction e speculative decoding (D-Flash / D-Spark). Disponível em BF16 e NVFP4; o checkpoint NVFP4 roda em GPUs RTX de consumo e DGX Spark (~71 tok/s em stream única numa DGX Spark).
NeMo Switchyard — biblioteca open-source de roteamento (github.com/NVIDIA-NeMo/Switchyard). SDK independente de provedor, inclui um servidor que aceita requisições nas APIs OpenAI / Anthropic / Responses e registra qual modelo foi escolhido e por quê — para que você possa auditar o roteamento em produção.
Dados + receitas de pós-treinamento — incluindo o dataset Nemotron-RL-Agentic-Terminal-Pivot, usado para treinar as capacidades de agente de código. O fine-tuning é incomum de tão transparente para essa classe de modelo.

Por que os números importam

Roteando a requisição uma vez por tarefa em vez de sempre recorrer ao maior modelo, os resultados são difíceis de ignorar:

LangChain — 145 tarefas de agente multi-turn, apenas 7% das chamadas para um modelo de fronteira: custo −74% com uma troca de ~6 pontos de acurácia.
Ramp — desempenho de fronteira no RampSWE-Bench com custo −58%, tempo de execução −33%.
Cognition — roteamento em estágios do NeMo Switchyard dentro do Devin Desktop: custo médio −28% vs. um único modelo de fronteira.
Boomi — 100% de acurácia no roteamento de domínio, 59% do tráfego para um modelo fine-tunado 5× mais rápido, latência em turnos posteriores −21%.
NVIDIA (interno) — acurácia de nível fronteira por cerca de um terço do custo do Opus 4.8 sozinho.

Como o roteador decide

Os sinais de roteamento vêm de três frentes: capacidade do modelo (qual modelo resolve isso corretamente), perfil de custo (latência + tokens por modelo) e infraestrutura (handoff/estado). O Switchyard oferece quatro estratégias prontas para uso:

Classificador LLM — um LLM avaliador escolhe o modelo de destino e mantém afinidade de sessão entre turnos, sem reclassificar trabalho que não mudou.
Stage router — observa a atividade das ferramentas. Erros, trabalho repetitivo improdutivo ou exploração prolongada empurram o turno para um modelo mais capaz; escritas consistentes e testes passando favorecem o modelo eficiente.
Escalation router — começa toda sessão no barato, e um avaliador promove a sessão apenas quando detecta dificuldade sustentada. É a configuração por trás do resultado de 74% da LangChain.
Prefill router (ajustável) — aprende com o residual stream do modelo para prever a probabilidade de sucesso de cada candidato e, então, equilibra acurácia com restrições de custo/latência.

Configuração mínima

A forma mais rápida de sentir a latência do Lightning sem nenhum hardware: use o endpoint gratuito do OpenRouter.

curl https://openrouter.ai/api/v1/chat/completions \
  -H "Authorization: Bearer $OPENROUTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "nvidia/nemotron-3.5-lightning:free",
    "messages": [{"role": "user", "content": "Classify this security alert: multiple failed SSH logins from 10.0.0.44 in 3 minutes"}]
  }'

Para uma configuração local de agente, clone o Switchyard e defina um pool de modelos + política. O schema exato está no README do repositório; a estrutura é mais ou menos assim:

# switchyard.yaml — model pool + routing policy
targets:
  - name: lightning-local          # semantic name, provider-agnostic
    provider: openai-compatible   # local NIM / vLLM endpoint
    model: nvidia/Nemotron-3.5-Lightning-30B-A3B-NVFP4
    base_url: http://localhost:8000/v1
  - name: frontier
    provider: anthropic
    model: claude-opus-4.8

router:
  type: escalation        # start cheap, escalate on sustained difficulty
  judge: frontier
  default: lightning-local
  fallback: frontier

from switchyard import SwitchyardClient

client = SwitchyardClient("switchyard.yaml")
resp = client.chat(messages=[...], session_id="sess-42")
print(resp.model_used, resp.rationale)  # which target served this turn, and why

Dicas práticas

Roteie uma vez por tarefa ou sessão, não por turno. Rerrotear cada mensagem adiciona uma camada de decisão e quebra o prompt caching — o erro mais comum com roteadores.
Não coloque o Lightning na frente de um pipeline que recebe input não confiável. Seu ponto fraco conhecido é a resistência a prompt injection. Coloque um orquestrador ou um modelo mais forte acima dele; deixe o Lightning cuidar da camada repetitiva de execução por baixo.
O fine-tuning é barato o suficiente para tentar. Casos relatados: ~1 época em menos de 3 horas por cerca de US$ 100 (a Unsloth tem scripts para GPUs de consumo); a CodeRabbit treinou um agente roteador em ~2 horas / US$ 85 usando a receita NeMoAuto.
Escolha o checkpoint certo. NVFP4 para inferência local em RTX/DGX Spark; BF16 se você vai fazer fine-tuning e quer fidelidade total.
Você não precisa construir o gateway. O LiteLLM está adicionando o Switchyard como plugin, a Kong o disponibiliza nativamente em seu AI Gateway, e LangChain / Nous Research (Hermes) já o integram.

Recursos

NeMo Switchyard (GitHub): github.com/NVIDIA-NeMo/Switchyard
Pesos do Nemotron 3.5 Lightning (Hugging Face): checkpoint NVFP4
Dataset de RL: Nemotron-RL-Agentic-Terminal-Pivot
Microsserviço NIM: build.nvidia.com · OpenRouter: nemotron-3.5-lightning:free
Blog de devs da NVIDIA: Route AI Agent Workloads Across Models