QuantumNous GitHub avatar

new-api

Go
自托管大模型网关QuantumNous最近推送 2026年11月18日
模型推理与部署AGPL-3.052.2k12.7k1,484 issues7 天 +409

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年10月24日

自托管 AI 网关,统一接入和管理多家模型服务。

New API 是一个面向应用、智能体和团队的自托管 AI 网关。它把 OpenAI、Anthropic、Gemini、Azure OpenAI、Bedrock、Vertex AI、DeepSeek、Qwen 等上游服务统一接入,并向客户端提供兼容接口。项目还提供路由、权限、用量、成本和管理控制台。

推荐指数

5.0

功能覆盖完整,适合需要统一管理多模型和团队访问权限的部署场景。

近 7 天

+409

新增 Star

总 Star 排名

#103

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年11月11日

核心亮点

  • 1统一接口

    可将不同模型服务转换为 OpenAI、Claude 或 Gemini 兼容格式。

  • 2灵活路由

    支持模型映射、渠道优先级、权重、重试、亲和性和多上游密钥。

  • 3用量计费

    提供配额、订阅、用量日志、缓存计费和按表达式定价。

  • 4权限管理

    支持用户、分组、细粒度权限、API 密钥限制及 OAuth/OIDC 等登录方式。

  • 5管理控制台

    可在网页中配置渠道和模型,查看用量与审计日志,并通过 Playground 试用模型。

适用场景

  • 团队统一调用模型

    例如:团队成员使用同一个兼容 OpenAI 的地址访问不同供应商的模型。

  • 多供应商切换

    例如:将应用固定连接到网关,通过模型映射或路由配置切换 OpenAI、Claude 和 Gemini 上游。

  • 私有模型服务

    例如:企业自托管网关,为内部应用和智能体统一分发已授权的模型访问权限。

  • 用量与成本统计

    例如:管理员按用户或团队查看请求、Token、响应时间和成本日志。

它是怎么工作的

  1. 第 1 步

    接入上游

    在网关中配置 OpenAI、Anthropic、Gemini 等模型服务及其授权密钥。

  2. 第 2 步

    配置模型与路由

    设置模型映射、渠道优先级、权重、重试策略和多个上游密钥。

  3. 第 3 步

    统一访问

    应用通过网关提供的兼容接口调用模型,客户端无需分别适配各家服务。

  4. 第 4 步

    管理访问和用量

    管理员通过控制台管理用户、权限、API 密钥、配额、审计日志和成本。

快速上手

  1. 1

    选择部署方式

    README 提供 Quick start、Deployment 和 Docker Hub 相关入口,可按项目文档选择部署方式。

  2. 2

    配置上游渠道

    启动后在管理控制台配置模型渠道、模型映射和授权密钥。

  3. 3

    创建访问凭证

    为用户或应用设置账号、权限、API 密钥和访问限制。

  4. 4

    接入客户端

    将应用的模型接口地址切换到网关,并使用网关配置的模型名称进行调用。

适合谁

  • 需要统一接入多家大模型服务的开发团队
  • 需要自托管 AI API 网关的企业或个人
  • 需要做模型路由、配额和成本管理的管理员
  • 需要兼容 OpenAI、Claude 或 Gemini 接口的应用开发者

不太适合

  • 只调用单一模型且不需要统一管理的简单项目
  • 不具备维护自托管服务和上游 API 权限的用户

成熟度

  • 活跃度仓库拥有 50531 个 Star,最近推送时间为 2026-10-23,显示出较高的维护活跃度。
  • 文档README 提供中英文等多语言入口,并覆盖能力、快速开始、部署、开发和文档章节。
  • 社区项目有 50531 个 Star、12224 个 Fork,但同时存在 1400 个未关闭 Issue。
  • 上手难度提供网页控制台、Docker Hub 入口和完整的能力说明,但多模型、权限和计费配置仍需要一定运维经验。

使用前注意

  • · 项目采用 AGPL-3.0 许可证,集成或提供服务前应评估许可证义务。
  • · 必须合法获取上游 API 密钥、账号和模型服务权限,并遵守各上游服务条款。
  • · 对外提供生成式 AI 或 API 转售服务时,需要自行处理所在地区的备案、许可、内容安全、实名、日志留存和税务等要求。
  • · 网关会集中管理模型凭证、用户访问和用量数据,部署时应重点保护密钥、账号和审计日志。

主题标签

claudegeminiopenairerankai-gatewaydeepseeknewapiapi-managementllm-gatewaymodel-routingself-hosted