Continuum-AI-Corp GitHub avatar

OrcaRouter-Lite

Python
自托管大模型路由Continuum-AI-Corp最近推送 2026年10月8日
模型推理与部署MIT3,41948151 issues7 天 +1,356

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

自托管 LLM 路由服务,兼容 OpenAI 接口,支持多供应商自动选模与故障切换。

OrcaRouter Lite 是 OrcaRouter 的开源单工作区版本,用 Python 编写,以 Docker 方式自托管。它对外提供 OpenAI 兼容的 /v1 接口,同时支持 Anthropic 和 Gemini 原生协议接入,把请求统一路由到 OpenAI、Anthropic、Google 等多家供应商。用户自带各家 API Key(BYOK),也可以把官方托管服务当作兜底供应商。

推荐指数

4.0

功能完整、上手简单的自托管 LLM 网关,适合想统一多模型调用并控制成本的团队。

近 7 天

+1,356

新增 Star

总 Star 排名

#1633

雷达追踪的 3,958 个 AI 仓库中

创建于

2026

2026年5月3日

核心亮点

  • 1自动选模

    传 model="auto" 时,按请求所需能力(工具、视觉、JSON)选最便宜的可用模型。

  • 2多协议接入

    同时兼容 OpenAI、Anthropic、Gemini 三种入站协议,Claude Code 等客户端可直接连。

  • 3托管兜底

    配置托管 Key 后,本地 Key 覆盖不到的模型或故障时由托管服务接住。

  • 4内置面板

    自带仪表盘,可查看供应商、路由、用量分析和密钥管理。

  • 5部署轻量

    不依赖 Postgres 和 Redis,docker compose 一条命令即可启动。

适用场景

  • 多模型统一入口

    例如:产品里只对接一个 OpenAI 兼容地址,后端按需切换 GPT、Claude、Gemini。

  • 成本优化

    例如:普通问答用 model="auto" 自动落到最便宜模型,复杂请求再指定大模型。

  • 故障切换

    例如:某家供应商宕机时,请求自动转到其他供应商或托管服务,业务代码不改。

  • 本地开发调试

    例如:在笔记本上跑 Lite,用 Claude Code 或 google-genai SDK 指向本地地址测试。

它是怎么工作的

  1. 第 1 步

    接收请求

    通过 OpenAI、Anthropic 或 Gemini 格式的接口接收调用。

  2. 第 2 步

    协议转换

    在边缘把不同协议翻译成同一套内部请求管线。

  3. 第 3 步

    选择模型

    指定模型则直接使用;model="auto" 则按能力要求挑最便宜的可用模型。

  4. 第 4 步

    转发与回退

    用配置的供应商 Key 转发请求,失败时按链路切到其他供应商或托管服务。

  5. 第 5 步

    返回结果

    以流式或普通响应返回,并通过 x-orca-resolved-model 头告知实际使用的模型。

快速上手

  1. 1

    克隆并配置

    复制环境变量模板,至少填入一个供应商 Key 或托管 Key。

    git clone https://github.com/Continuum-AI-Corp/OrcaRouter-Lite.git && cd OrcaRouter-Lite && cp .env.example .env
  2. 2

    启动服务

    用 Docker Compose 启动,日志会打印 sk-orca-* 格式的 API Key。

    docker compose up
  3. 3

    调用接口

    把任意 OpenAI SDK 的 base_url 指向本地 8000 端口,模型填 auto。

    curl http://localhost:8000/v1/chat/completions -H "Authorization: Bearer sk-orca-abc123..." -H "Content-Type: application/json" -d '{"model":"auto","messages":[{"role":"user","content":"Hello!"}]}'
  4. 4

    打开面板

    浏览器访问本地根路径,查看供应商、路由和用量。

适合谁

  • 需要统一管理多家 LLM 供应商的开发者
  • 想用自带 Key 控制成本的小团队
  • 需要 OpenAI 兼容层接入现有应用的项目
  • 希望有本地仪表盘观察用量的运维人员

不太适合

  • 完全不想自建服务、只想开箱即用的用户
  • 需要多工作区或多租户隔离的大型组织

成熟度

  • 活跃度2026 年 5 月创建,10 月仍有更新,star 超 3200。
  • 文档README 含快速开始、代码示例和 12 种语言版本。
  • 社区有 468 个 fork 和 52 个未关闭 issue,社区规模中等。
  • 上手难度docker compose 一条命令启动,无需 Postgres 和 Redis。

同类项目怎么选

  • LiteLLM以 Python 库形式为主,Lite 是带面板的自托管服务。
  • OpenRouter闭源托管服务,Lite 可自托管并自带 Key。
  • Ollama只跑本地模型,Lite 路由多家云端供应商。

使用前注意

  • · MIT 许可,可商用,但需自行承担供应商 API 费用。
  • · 自托管为单工作区版本,多工作区等高级路由需用托管版。
  • · 托管路径需要注册账号并按 token 计费。
  • · API Key 存在本地配置中,需注意 .env 文件的安全管理。

主题标签

ai-gatewayai-gatewaysanthropic-apibyokgemini-apilitellmllm-routerllm-router-serverone-apiopenaiopenai-apiopenai-compatibleorcarouterportkeyai-model-gateway