LiteLLM

Introdução

LiteLLM é um gateway de IA open-source e um SDK Python, desenvolvido pela Berri AI, que resolve um problema comum para equipes que constroem com grandes modelos de linguagem: gerenciar muitos provedores, chaves, orçamentos e regras de roteamento em APIs separadas. Ele coloca mais de 100 provedores de LLMs, servidores MCP e agentes atrás de uma única API compatível com OpenAI, permitindo que um aplicativo troque de modelo sem alterações no código.

O gateway é self-hosted, o que significa que prompts, respostas e chaves dos provedores permanecem na própria infraestrutura do usuário. As equipes emitem chaves virtuais com escopo por projeto ou time, definem orçamentos por chave e por equipe e acompanham os gastos conforme as requisições acontecem. O projeto principal é licenciado sob MIT, com recursos adicionais disponíveis sob uma licença comercial enterprise. Um SDK Python também está disponível para aplicativos que precisam de chamadas diretas aos provedores sem executar um servidor.

Principais Recursos

• Uma API para mais de 140 provedores e mais de 1.800 modelos: Os aplicativos usam um único endpoint compatível com OpenAI, e trocar de provedor vira uma mudança de configuração em vez de uma mudança de código.
• Chaves virtuais, orçamentos e rastreamento de gastos: Administradores emitem chaves com escopo por equipe, projeto ou aplicativo, com limites de orçamento por chave e por equipe e visibilidade de gastos em tempo real.
• Roteamento e fallbacks: O litellm.Router suporta balanceamento de carga e fallback automático entre provedores, útil durante interrupções ou ao otimizar custos.
• Acesso a agentes e servidores MCP: O mesmo gateway alcança servidores MCP e agentes, não apenas LLMs, com controles de acesso anexados.
• Guardrails e limites de taxa: Guardrails integrados, como mascaramento de PII, detecção de injeção de prompt e detecção de segredos, podem ser anexados a equipes e chaves, além de limites de TPM e RPM.
• Postura de segurança self-hosted: Chaves, prompts e trilhas de auditoria permanecem na infraestrutura e no gerenciador de segredos do próprio cliente, com login SSO para a UI de administração.
• SDK Python: pip install litellm dá aos aplicativos Python uma única interface de completion entre provedores, retornando respostas no formato OpenAI.

Destaques

• Preços: Não listados publicamente nas páginas que analisamos; consulte o site oficial para ver os planos atuais. O núcleo é open source sob a licença MIT, e os recursos enterprise são vendidos separadamente.
• Implantação rápida: Um script de quickstart de comando único (Docker, Podman ou Rancher Desktop com Compose v2) sobe o gateway, o Postgres e a UI de administração.
• Suporte a modelos no dia zero: Novos modelos são adicionados assim que lançados, e modelos internos ajustados (fine-tuned) ou self-hosted podem ficar atrás da mesma chave.
• Usuários notáveis: Os depoimentos no site incluem engenheiros da NVIDIA, Netflix, Okta, Lemonade e AT&T, que relataram reduzir alguns custos de codificação com IA em 56%.

Para Quem É

LiteLLM é construído principalmente para equipes de plataforma e infraestrutura que precisam dar a toda uma organização acesso a múltiplos provedores de IA sem se tornar um gargalo. Ele atende desenvolvedores backend que querem um único SDK entre provedores, líderes de engenharia que precisam de orçamentos por equipe e responsabilidade sobre gastos, e empresas que devem manter chaves e logs de requisições dentro de sua própria infraestrutura para revisão de segurança. Casos de uso típicos incluem aplicativos multi-provedor, recursos voltados ao cliente com custo limitado, failover durante interrupções de provedores e roteamento de agentes de codificação como Claude Code ou Codex por meio de um endpoint interno controlado.