cheaper-inference GitHub avatar

OmniRoute

TypeScript
多模型统一接入网关cheaper-inference最近推送 2026年11月20日
模型推理与部署MIT88.9k13.7k827 issues7 天 +2,045

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

统一接口接入375家AI服务商,含150+免费层,自动切换配额并压缩上下文。

OmniRoute 是一个 MIT 许可的 AI 网关,提供单一端点接入 375 家服务商、1400+ 模型(如 Kimi、Claude、GPT、Gemini、GLM、DeepSeek、MiniMax)。它面向 Claude Code、Codex、Cursor、OpenCode、Cline、Copilot 等编程工具,支持按配额自动回退、RTK+Caveman 压缩节省 15-95% token,并提供桌面端与 PWA 应用。

推荐指数

4.0

适合想用免费额度降低 AI 编程成本的开发者,但需自行管理各服务商账号与条款风险。

近 7 天

+2,045

新增 Star

总 Star 排名

#43

雷达追踪的 3,971 个 AI 仓库中

创建于

2026

2026年2月13日

核心亮点

  • 1统一端点

    一个接口接入 375 家服务商、1400+ 模型,兼容主流编程助手。

  • 2免费层聚合

    目录收录 465 条免费层条目,估算每月约 16.2 亿免费 token。

  • 3配额感知回退

    根据配额自动切换服务商,避免因限额中断编码。

  • 4上下文压缩

    RTK+Caveman 叠加压缩可节省 15-95% token,平均约 89%。

  • 5多端可用

    提供桌面端、PWA 网页应用,并支持 MCP/A2A 协议。

适用场景

  • 免费额度编程

    例如:在 Cursor 中配置 OmniRoute 端点,自动轮换多个免费层模型继续写代码。

  • 多模型对比

    例如:通过同一端点调用 Claude、GPT、Gemini,比较不同模型对同一任务的输出。

  • 配额耗尽应急

    例如:主用服务商达到限额后,网关自动回退到备用免费服务商,不中断会话。

  • 长上下文节省

    例如:开启压缩后,将长代码库对话的 token 消耗降低约 89%。

它是怎么工作的

  1. 第 1 步

    配置服务商

    用户自行注册并填入各服务商的 API 密钥或凭证。

  2. 第 2 步

    统一路由

    网关将请求按 22 种路由策略分发到对应服务商。

  3. 第 3 步

    配额监控

    实时跟踪各服务商配额,接近限额时自动切换。

  4. 第 4 步

    压缩上下文

    对请求内容进行 RTK+Caveman 压缩,减少 token 用量。

  5. 第 5 步

    返回结果

    将服务商响应统一格式返回给编程工具或客户端。

快速上手

  1. 1

    安装

    通过 npm 全局安装 OmniRoute。

    npm install -g omniroute
  2. 2

    启动服务

    运行网关,默认提供本地端点。

    omniroute serve
  3. 3

    配置密钥

    在仪表盘或配置文件中填入各服务商凭证。

  4. 4

    接入工具

    将 Claude Code、Cursor 等工具的 API 地址指向 OmniRoute 端点。

适合谁

  • 使用 Claude Code、Cursor、Cline 等编程助手的开发者
  • 希望利用多家免费层降低 AI 使用成本的人
  • 需要多模型切换和配额管理的团队

不太适合

  • 不愿自行注册和管理多个服务商账号的用户
  • 对服务商条款风险敏感、要求单一稳定供应商的企业

成熟度

  • 活跃度创建于 2026 年 2 月,最近推送在 2026 年 11 月,版本迭代频繁。
  • 文档README 详细,含免费层方法论文档和仪表盘截图,但部分链接指向外部。
  • 社区星标 8.8 万、复刻 1.3 万,Discord/Telegram/WhatsApp 多社区入口。
  • 上手难度需自行注册多个服务商并配置密钥,初次使用有一定门槛。

同类项目怎么选

  • LiteLLM同样提供多模型统一接口,但侧重代理与成本追踪,免费层聚合和自动回退策略不同。
  • OpenRouter商业聚合平台,提供统一计费,而 OmniRoute 是自托管开源网关,需自带服务商账号。
  • One API开源网关,侧重密钥管理和渠道分发,OmniRoute 额外强调免费层目录和上下文压缩。

使用前注意

  • · 免费 token 总量是第三方免费层的估算聚合,非 OmniRoute 发放,各服务商可随时调整限额或条款。
  • · README 标注 12 家服务商存在条款风险,使用前需自行评估合规性。
  • · 需要用户自行注册并管理多个服务商账号和凭证。
  • · 项目采用 MIT 许可,但依赖的第三方服务商各有独立使用条款。

主题标签

a2aai-agentsai-gatewayanthropicclaudeclaude-codeclinecodexcopilotcursordeepseekfree-aigeminillm-gatewaymcpopenaiopenai-proxyqwentoken-saverkimi