BerriAI GitHub avatar

litellm

Python
大模型统一接入网关BerriAI最近推送 2026年11月18日
模型推理与部署NOASSERTION63.4k13.4k5,220 issues7 天 +373

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

统一调用 100+ 大模型的开源 AI 网关,兼容 OpenAI 格式。

LiteLLM 是一个开源 AI 网关,用 OpenAI 格式统一调用 OpenAI、Anthropic、Gemini、Bedrock、Azure 等 100+ 模型提供方。它既可以作为 Python SDK 直接集成到代码里,也可以部署成代理服务器,作为团队或组织统一的模型调用入口。仓库描述称其核心用 Rust 实现并配有 Python SDK,还提供成本追踪、护栏、负载均衡和日志能力。

推荐指数

5.0

多模型接入的事实标准级项目,适合需要统一管理和治理 LLM 调用的团队。

近 7 天

+373

新增 Star

总 Star 排名

#77

雷达追踪的 3,931 个 AI 仓库中

创建于

2023

2023年7月27日

核心亮点

  • 1统一接口

    一套 OpenAI 格式调用 100+ 模型提供方,不用分别对接各家 SDK。

  • 2两种用法

    既能作为 Python SDK 嵌入代码,也能部署为集中式代理服务。

  • 3生产特性

    内置虚拟密钥、花费追踪、护栏、负载均衡和管理面板。

  • 4低延迟

    README 称在 1k RPS 下 P95 延迟为 8ms,并附有基准测试链接。

  • 5多平台部署

    提供 Render、Railway、AWS、GCP 的一键部署入口。

适用场景

  • 多模型应用开发

    例如:同一份代码里在 OpenAI 和 Anthropic 之间切换模型做对比测试。

  • 团队统一网关

    例如:公司部署一个代理,所有业务通过虚拟密钥调用模型并统计花费。

  • 成本与权限治理

    例如:按团队分配密钥和预算,超支时拦截并记录日志。

  • 故障切换

    例如:主模型不可用时由网关自动负载均衡到备用提供方。

它是怎么工作的

  1. 第 1 步

    选择形态

    决定用 Python SDK 直接集成,还是部署代理服务器。

  2. 第 2 步

    配置模型

    填入各提供方的 API Key 和模型列表。

  3. 第 3 步

    统一调用

    客户端按 OpenAI 格式发请求,网关转换为对应提供方的格式。

  4. 第 4 步

    治理与观测

    网关执行密钥校验、预算控制、护栏检查并记录日志和花费。

快速上手

  1. 1

    安装 SDK

    用 uv 安装 litellm 包。

    uv add litellm
  2. 2

    设置密钥

    通过环境变量配置各提供方的 API Key。

  3. 3

    发起调用

    用 completion 函数指定模型前缀即可调用不同提供方。

    response = completion(model="anthropic/claude-sonnet-4-20250514", messages=[{"role": "user", "content": "Hello!"}])
  4. 4

    部署网关

    按官方 Docker 快速开始教程部署代理服务器。

适合谁

  • 需要接入多家模型提供方的后端开发者
  • 要统一管理密钥、预算和日志的平台团队
  • 希望低成本切换模型的 AI 应用团队

不太适合

  • 只固定使用单一模型提供方的小项目
  • 不想自建和维护网关服务的个人开发者

成熟度

  • 活跃度6.3 万 star、最近仍在推送更新,迭代活跃。
  • 文档README 结构完整,链接到代理、提供方、基准等专门文档。
  • 社区star 和 fork 数很高,但开放 issue 超过 5000 个,维护压力大。
  • 上手难度SDK 几行代码即可调用,网关部署和治理配置需要一定学习成本。

同类项目怎么选

  • OpenRouter主要是托管服务,LiteLLM 强调可自托管和开源。
  • Portkey Gateway同为开源 AI 网关,具体功能侧重不同,需自行对比。

使用前注意

  • · 许可证为 NOASSERTION,商用前需确认具体条款。
  • · README 提到 litellm 与 litellm-core 两个发行包文件重叠,同一环境只能装一个。
  • · 开放 issue 数量多,遇到问题不一定能快速得到响应。
  • · 自托管网关需自行负责密钥安全、升级和运维。

主题标签

anthropiclangchainllmllmopsopenaiai-gatewayazure-openaibedrockgatewayopenai-proxyvertex-aillm-gatewaylitellmmcp-gatewayrustrust-ai