AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日
统一调用 100+ 大模型的开源 AI 网关,兼容 OpenAI 格式。
LiteLLM 是一个开源 AI 网关,用 OpenAI 格式统一调用 OpenAI、Anthropic、Gemini、Bedrock、Azure 等 100+ 模型提供方。它既可以作为 Python SDK 直接集成到代码里,也可以部署成代理服务器,作为团队或组织统一的模型调用入口。仓库描述称其核心用 Rust 实现并配有 Python SDK,还提供成本追踪、护栏、负载均衡和日志能力。
推荐指数
多模型接入的事实标准级项目,适合需要统一管理和治理 LLM 调用的团队。
近 7 天
+373
新增 Star
总 Star 排名
#77
雷达追踪的 3,931 个 AI 仓库中
创建于
2023
2023年7月27日
核心亮点
1统一接口
一套 OpenAI 格式调用 100+ 模型提供方,不用分别对接各家 SDK。
2两种用法
既能作为 Python SDK 嵌入代码,也能部署为集中式代理服务。
3生产特性
内置虚拟密钥、花费追踪、护栏、负载均衡和管理面板。
4低延迟
README 称在 1k RPS 下 P95 延迟为 8ms,并附有基准测试链接。
5多平台部署
提供 Render、Railway、AWS、GCP 的一键部署入口。
适用场景
多模型应用开发
例如:同一份代码里在 OpenAI 和 Anthropic 之间切换模型做对比测试。
团队统一网关
例如:公司部署一个代理,所有业务通过虚拟密钥调用模型并统计花费。
成本与权限治理
例如:按团队分配密钥和预算,超支时拦截并记录日志。
故障切换
例如:主模型不可用时由网关自动负载均衡到备用提供方。
它是怎么工作的
第 1 步
选择形态
决定用 Python SDK 直接集成,还是部署代理服务器。
第 2 步
配置模型
填入各提供方的 API Key 和模型列表。
第 3 步
统一调用
客户端按 OpenAI 格式发请求,网关转换为对应提供方的格式。
第 4 步
治理与观测
网关执行密钥校验、预算控制、护栏检查并记录日志和花费。
快速上手
- 1
安装 SDK
用 uv 安装 litellm 包。
uv add litellm - 2
设置密钥
通过环境变量配置各提供方的 API Key。
- 3
发起调用
用 completion 函数指定模型前缀即可调用不同提供方。
response = completion(model="anthropic/claude-sonnet-4-20250514", messages=[{"role": "user", "content": "Hello!"}]) - 4
部署网关
按官方 Docker 快速开始教程部署代理服务器。
适合谁
- 需要接入多家模型提供方的后端开发者
- 要统一管理密钥、预算和日志的平台团队
- 希望低成本切换模型的 AI 应用团队
不太适合
- 只固定使用单一模型提供方的小项目
- 不想自建和维护网关服务的个人开发者
成熟度
- 活跃度6.3 万 star、最近仍在推送更新,迭代活跃。
- 文档README 结构完整,链接到代理、提供方、基准等专门文档。
- 社区star 和 fork 数很高,但开放 issue 超过 5000 个,维护压力大。
- 上手难度SDK 几行代码即可调用,网关部署和治理配置需要一定学习成本。
同类项目怎么选
- OpenRouter主要是托管服务,LiteLLM 强调可自托管和开源。
- Portkey Gateway同为开源 AI 网关,具体功能侧重不同,需自行对比。
使用前注意
- · 许可证为 NOASSERTION,商用前需确认具体条款。
- · README 提到 litellm 与 litellm-core 两个发行包文件重叠,同一环境只能装一个。
- · 开放 issue 数量多,遇到问题不一定能快速得到响应。
- · 自托管网关需自行负责密钥安全、升级和运维。
