theopenco GitHub avatar

llmgateway

TypeScript
大模型统一网关theopenco最近推送 2026年11月19日
模型推理与部署NOASSERTION1,74920187 issues7 天 +11

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

开源 LLM API 网关,统一路由多家模型并统计用量与成本。

LLM Gateway 是位于应用与各家大模型服务商之间的中间层,用统一 API 转发请求。它支持 OpenAI、Anthropic、Google Vertex AI 等多家服务商,集中管理 API 密钥,并跟踪 token 用量、费用和响应时间。接口兼容 OpenAI 格式,便于已有应用迁移。

推荐指数

4.0

功能覆盖路由、密钥、用量分析,适合需要集中治理多模型调用的团队,但需注意 AGPLv3 与商业功能分层的许可结构。

近 7 天

+11

新增 Star

总 Star 排名

#2484

雷达追踪的 3,958 个 AI 仓库中

创建于

2025

2025年4月13日

核心亮点

  • 1统一接口

    兼容 OpenAI API 格式,现有代码改动小即可切换或接入多家模型。

  • 2多服务商路由

    一个网关对接 OpenAI、Anthropic、Google Vertex AI 等多家服务商。

  • 3用量与成本分析

    统计请求数、token 消耗、响应时间和费用,便于比较模型性价比。

  • 4密钥集中管理

    在网关内统一管理各服务商的 API 密钥,不必分散到各应用。

  • 5自托管可选

    提供托管版和 Docker 自托管两种使用方式,数据可留在自有基础设施。

适用场景

  • 多模型统一接入

    例如:应用只对接网关的 OpenAI 兼容接口,后端按需把请求转发到 GPT-4o 或 Claude。

  • 成本与用量监控

    例如:团队按项目查看各模型的 token 消耗和费用,找出高成本调用。

  • 密钥集中治理

    例如:运维在网关中统一配置和轮换各服务商密钥,应用侧不再保存明文密钥。

  • 模型性能对比

    例如:对同一批请求比较不同模型的响应时间和单位成本,辅助选型。

它是怎么工作的

  1. 第 1 步

    应用发起请求

    应用按 OpenAI 格式调用网关的 /v1/chat/completions 接口。

  2. 第 2 步

    网关鉴权与路由

    网关校验 API Key,并根据模型配置把请求转发到对应服务商。

  3. 第 3 步

    记录用量数据

    网关记录请求、token、响应时间和费用等指标。

  4. 第 4 步

    面板查看分析

    通过 Next.js 仪表盘查看用量、成本和性能对比。

快速上手

  1. 1

    托管版直接试用

    在 llmgateway.io 注册账号获取 API Key,无需自建。

  2. 2

    Docker 自托管

    生成两个密钥后运行统一镜像脚本,使用命名卷而非绑定宿主机目录。

    export LLM_GATEWAY_SECRET="$(openssl rand -base64 32 | tr -d '\n')"
    export GATEWAY_API_KEY_HASH_SECRET="$(openssl rand -base64 32 | tr -d '\n')"
    ./scripts/run-unified-container.sh
  3. 3

    调用接口

    用 Bearer 方式携带网关 API Key,按 OpenAI 格式发送对话请求。

    curl -X POST https://api.llmgateway.io/v1/chat/completions -H "Content-Type: application/json" -H "Authorization: Bearer $LLM_GATEWAY_API_KEY" -d '{"model":"gpt-4o","messages":[{"role":"user","content":"Hello, how are you?"}]}'
  4. 4

    本地开发

    安装依赖并初始化环境后启动开发服务器。

    pnpm i && pnpm run setup
    pnpm dev

适合谁

  • 需要统一接入多家大模型的应用团队
  • 希望集中管理 API 密钥和用量的运维或平台团队
  • 需要自托管以控制数据的组织

不太适合

  • 只需调用单一服务商、无治理需求的个人项目
  • 无法接受 AGPLv3 或需要完全宽松许可的商业项目

成熟度

  • 活跃度2025 年创建,最近一次推送在 2026 年 11 月,仍在持续更新。
  • 文档README 覆盖部署、接口调用和目录结构,但细节需查阅文档站。
  • 社区约 1745 star、200 fork,88 个未关闭 issue,社区规模中等。
  • 上手难度提供托管版和 Docker 一键镜像,但自托管涉及多端口与密钥配置。

同类项目怎么选

  • LiteLLM同为多服务商统一接口的代理,Python 生态,本项目为 TypeScript 并自带仪表盘。
  • OpenRouter主要是托管式聚合服务,本项目强调开源与自托管部署。
  • Portkey Gateway同样提供统一网关与可观测能力,具体功能与许可需自行核对。

使用前注意

  • · 采用 AGPLv3 与商业双许可,ee/ 目录功能需企业授权,多组织管理需白标许可。
  • · README 明确不接受新增服务商的 PR,服务商需通过 Airside 门户接入。
  • · 自托管需用 Docker 命名卷挂载 PostgreSQL 数据目录,绑定宿主机目录可能初始化失败。
  • · 完整请求与响应内容留存属于企业功能,其他方案仅保留元数据。

主题标签

aillmllmstypescriptai-gatewayanalyticsanthropicapi-key-managementclaudecodexenterpriseguardrailsinferencellm-gatewayllm-proxyobservabilityopenaiopencoderate-limiting