LiteLLM
3.0LiteLLM 是一个开源 AI 网关和 Python SDK,把 100 多家 LLM 服务商、MCP 服务器和 agent 统一在一个兼容 OpenAI 的 API 之后,并提供预算、路由和支出追踪,适合平台团队使用。
简介
LiteLLM 是由 Berri AI 开发的开源 AI 网关和 Python SDK,解决团队使用大语言模型时常见的问题:在彼此独立的 API 之间管理众多服务商、密钥、预算和路由规则。它把 100 多家 LLM 服务商、MCP 服务器和 agent 放到一个兼容 OpenAI 的 API 之后,应用无需改动代码就能切换模型。
网关支持自托管,提示词、响应和服务商密钥都留在用户自己的基础设施上。团队可以按项目或团队签发限定范围的虚拟密钥,设置单密钥和单团队预算,并在请求发生时实时追踪支出。核心项目采用 MIT 许可证,另有部分功能需商业企业版授权。对于不需要运行服务器、直接调用服务商的应用,还提供了 Python SDK。
主要功能
定价与费用
- 价格:在我们查看的页面上未公开列出,请前往官网查询当前方案。核心部分以 MIT 许可证开源,企业版功能单独销售。
- 快速部署:一条命令的快速启动脚本(Docker、Podman 或 Rancher Desktop 搭配 Compose v2)即可拉起网关、Postgres 和管理界面。
- 新模型当天支持:新模型发布后即被接入,内部微调模型或自托管模型也可使用同一密钥。
- 知名用户:官网推荐的引用来自 NVIDIA、Netflix、Okta、Lemonade 和 AT&T 的工程师,其中 AT&T 称部分 AI 编程成本降低了 56%。
适用人群
LiteLLM 主要面向平台和基础设施团队,帮助他们在不成为瓶颈的前提下,让整个组织接入多家 AI 服务商。它适合希望跨服务商使用同一个 SDK 的后端开发者、需要按团队设置预算并落实支出责任的工程负责人,以及出于安全审计要求必须把密钥和请求日志留在自己基础设施内的企业。典型场景包括多服务商应用、设有成本上限的面向客户的功能、服务商故障时的切换,以及让 Claude Code 或 Codex 等编程 agent 通过受控的内部端点进行路由。
常见问题
LiteLLM 是什么?它是 Berri AI 出品的开源 AI 网关和 Python SDK,通过一个兼容 OpenAI 的 API 暴露 100 多家 LLM 服务商、agent 和 MCP 服务器,并提供密钥、预算、路由和防护能力。
LiteLLM 免费吗?核心网关和 SDK 以 MIT 许可证开源;企业版功能需商业授权,且在我们查看的页面上未公开标价。
它支持哪些服务商和平台?支持 140+ 服务商,包括 OpenAI、Anthropic、Google Vertex AI、AWS Bedrock 以及自托管模型,任何语言都可通过其兼容 OpenAI 的 REST API 调用。
LiteLLM 如何部署?采用自托管方式,通常通过基于 Docker 的快速启动同时运行网关、Postgres 数据库和管理界面,所有密钥和请求数据都留在运营方自己的基础设施上。
LiteLLM 能帮助控制 AI 成本吗?可以。虚拟密钥和团队可设置单密钥、单团队预算,请求实时追踪,路由规则可将任务导向更便宜的模型——AT&T 称部分编程任务成本因此最多降低 56%。