AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日
自托管 LLM 路由服务,兼容 OpenAI 接口,支持多供应商自动选模与故障切换。
OrcaRouter Lite 是 OrcaRouter 的开源单工作区版本,用 Python 编写,以 Docker 方式自托管。它对外提供 OpenAI 兼容的 /v1 接口,同时支持 Anthropic 和 Gemini 原生协议接入,把请求统一路由到 OpenAI、Anthropic、Google 等多家供应商。用户自带各家 API Key(BYOK),也可以把官方托管服务当作兜底供应商。
推荐指数
功能完整、上手简单的自托管 LLM 网关,适合想统一多模型调用并控制成本的团队。
近 7 天
+1,356
新增 Star
总 Star 排名
#1633
雷达追踪的 3,958 个 AI 仓库中
创建于
2026
2026年5月3日
核心亮点
1自动选模
传 model="auto" 时,按请求所需能力(工具、视觉、JSON)选最便宜的可用模型。
2多协议接入
同时兼容 OpenAI、Anthropic、Gemini 三种入站协议,Claude Code 等客户端可直接连。
3托管兜底
配置托管 Key 后,本地 Key 覆盖不到的模型或故障时由托管服务接住。
4内置面板
自带仪表盘,可查看供应商、路由、用量分析和密钥管理。
5部署轻量
不依赖 Postgres 和 Redis,docker compose 一条命令即可启动。
适用场景
多模型统一入口
例如:产品里只对接一个 OpenAI 兼容地址,后端按需切换 GPT、Claude、Gemini。
成本优化
例如:普通问答用 model="auto" 自动落到最便宜模型,复杂请求再指定大模型。
故障切换
例如:某家供应商宕机时,请求自动转到其他供应商或托管服务,业务代码不改。
本地开发调试
例如:在笔记本上跑 Lite,用 Claude Code 或 google-genai SDK 指向本地地址测试。
它是怎么工作的
第 1 步
接收请求
通过 OpenAI、Anthropic 或 Gemini 格式的接口接收调用。
第 2 步
协议转换
在边缘把不同协议翻译成同一套内部请求管线。
第 3 步
选择模型
指定模型则直接使用;model="auto" 则按能力要求挑最便宜的可用模型。
第 4 步
转发与回退
用配置的供应商 Key 转发请求,失败时按链路切到其他供应商或托管服务。
第 5 步
返回结果
以流式或普通响应返回,并通过 x-orca-resolved-model 头告知实际使用的模型。
快速上手
- 1
克隆并配置
复制环境变量模板,至少填入一个供应商 Key 或托管 Key。
git clone https://github.com/Continuum-AI-Corp/OrcaRouter-Lite.git && cd OrcaRouter-Lite && cp .env.example .env - 2
启动服务
用 Docker Compose 启动,日志会打印 sk-orca-* 格式的 API Key。
docker compose up - 3
调用接口
把任意 OpenAI SDK 的 base_url 指向本地 8000 端口,模型填 auto。
curl http://localhost:8000/v1/chat/completions -H "Authorization: Bearer sk-orca-abc123..." -H "Content-Type: application/json" -d '{"model":"auto","messages":[{"role":"user","content":"Hello!"}]}' - 4
打开面板
浏览器访问本地根路径,查看供应商、路由和用量。
适合谁
- 需要统一管理多家 LLM 供应商的开发者
- 想用自带 Key 控制成本的小团队
- 需要 OpenAI 兼容层接入现有应用的项目
- 希望有本地仪表盘观察用量的运维人员
不太适合
- 完全不想自建服务、只想开箱即用的用户
- 需要多工作区或多租户隔离的大型组织
成熟度
- 活跃度2026 年 5 月创建,10 月仍有更新,star 超 3200。
- 文档README 含快速开始、代码示例和 12 种语言版本。
- 社区有 468 个 fork 和 52 个未关闭 issue,社区规模中等。
- 上手难度docker compose 一条命令启动,无需 Postgres 和 Redis。
同类项目怎么选
- LiteLLM以 Python 库形式为主,Lite 是带面板的自托管服务。
- OpenRouter闭源托管服务,Lite 可自托管并自带 Key。
- Ollama只跑本地模型,Lite 路由多家云端供应商。
使用前注意
- · MIT 许可,可商用,但需自行承担供应商 API 费用。
- · 自托管为单工作区版本,多工作区等高级路由需用托管版。
- · 托管路径需要注册账号并按 token 计费。
- · API Key 存在本地配置中,需注意 .env 文件的安全管理。
