AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
开源 LLM API 网关,统一路由多家模型并统计用量与成本。
LLM Gateway 是位于应用与各家大模型服务商之间的中间层,用统一 API 转发请求。它支持 OpenAI、Anthropic、Google Vertex AI 等多家服务商,集中管理 API 密钥,并跟踪 token 用量、费用和响应时间。接口兼容 OpenAI 格式,便于已有应用迁移。
推荐指数
功能覆盖路由、密钥、用量分析,适合需要集中治理多模型调用的团队,但需注意 AGPLv3 与商业功能分层的许可结构。
近 7 天
+11
新增 Star
总 Star 排名
#2484
雷达追踪的 3,958 个 AI 仓库中
创建于
2025
2025年4月13日
核心亮点
1统一接口
兼容 OpenAI API 格式,现有代码改动小即可切换或接入多家模型。
2多服务商路由
一个网关对接 OpenAI、Anthropic、Google Vertex AI 等多家服务商。
3用量与成本分析
统计请求数、token 消耗、响应时间和费用,便于比较模型性价比。
4密钥集中管理
在网关内统一管理各服务商的 API 密钥,不必分散到各应用。
5自托管可选
提供托管版和 Docker 自托管两种使用方式,数据可留在自有基础设施。
适用场景
多模型统一接入
例如:应用只对接网关的 OpenAI 兼容接口,后端按需把请求转发到 GPT-4o 或 Claude。
成本与用量监控
例如:团队按项目查看各模型的 token 消耗和费用,找出高成本调用。
密钥集中治理
例如:运维在网关中统一配置和轮换各服务商密钥,应用侧不再保存明文密钥。
模型性能对比
例如:对同一批请求比较不同模型的响应时间和单位成本,辅助选型。
它是怎么工作的
第 1 步
应用发起请求
应用按 OpenAI 格式调用网关的 /v1/chat/completions 接口。
第 2 步
网关鉴权与路由
网关校验 API Key,并根据模型配置把请求转发到对应服务商。
第 3 步
记录用量数据
网关记录请求、token、响应时间和费用等指标。
第 4 步
面板查看分析
通过 Next.js 仪表盘查看用量、成本和性能对比。
快速上手
- 1
托管版直接试用
在 llmgateway.io 注册账号获取 API Key,无需自建。
- 2
Docker 自托管
生成两个密钥后运行统一镜像脚本,使用命名卷而非绑定宿主机目录。
export LLM_GATEWAY_SECRET="$(openssl rand -base64 32 | tr -d '\n')" export GATEWAY_API_KEY_HASH_SECRET="$(openssl rand -base64 32 | tr -d '\n')" ./scripts/run-unified-container.sh - 3
调用接口
用 Bearer 方式携带网关 API Key,按 OpenAI 格式发送对话请求。
curl -X POST https://api.llmgateway.io/v1/chat/completions -H "Content-Type: application/json" -H "Authorization: Bearer $LLM_GATEWAY_API_KEY" -d '{"model":"gpt-4o","messages":[{"role":"user","content":"Hello, how are you?"}]}' - 4
本地开发
安装依赖并初始化环境后启动开发服务器。
pnpm i && pnpm run setup pnpm dev
适合谁
- 需要统一接入多家大模型的应用团队
- 希望集中管理 API 密钥和用量的运维或平台团队
- 需要自托管以控制数据的组织
不太适合
- 只需调用单一服务商、无治理需求的个人项目
- 无法接受 AGPLv3 或需要完全宽松许可的商业项目
成熟度
- 活跃度2025 年创建,最近一次推送在 2026 年 11 月,仍在持续更新。
- 文档README 覆盖部署、接口调用和目录结构,但细节需查阅文档站。
- 社区约 1745 star、200 fork,88 个未关闭 issue,社区规模中等。
- 上手难度提供托管版和 Docker 一键镜像,但自托管涉及多端口与密钥配置。
同类项目怎么选
- LiteLLM同为多服务商统一接口的代理,Python 生态,本项目为 TypeScript 并自带仪表盘。
- OpenRouter主要是托管式聚合服务,本项目强调开源与自托管部署。
- Portkey Gateway同样提供统一网关与可观测能力,具体功能与许可需自行核对。
使用前注意
- · 采用 AGPLv3 与商业双许可,ee/ 目录功能需企业授权,多组织管理需白标许可。
- · README 明确不接受新增服务商的 PR,服务商需通过 Airside 门户接入。
- · 自托管需用 Docker 命名卷挂载 PostgreSQL 数据目录,绑定宿主机目录可能初始化失败。
- · 完整请求与响应内容留存属于企业功能,其他方案仅保留元数据。
