tbphp GitHub avatar

gpt-load

Go
自托管大模型网关tbphp最近推送 2026年11月19日
模型推理与部署MIT7,23279613 issues7 天 +20

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

自托管 AI 网关,统一接入多渠道多凭据,提供调度、容错和用量统计。

GPT-Load 是一个用 Go 编写的自托管 AI 网关,把官方 API、云平台、模型服务和兼容中转统一到一个入口。它同时管理 API 密钥和订阅账号(如 Codex、Claude、Antigravity、Grok),内置多凭据调度、故障隔离、请求日志和用量统计,客户端保持 OpenAI、Anthropic 或 Gemini 原生接口不变。

推荐指数

4.0

功能完整、部署简单的自托管 AI 网关,适合需要集中管理多凭据和多渠道的团队。

近 7 天

+20

新增 Star

总 Star 排名

#924

雷达追踪的 3,971 个 AI 仓库中

创建于

2025

2025年6月7日

核心亮点

  • 1统一入口

    应用只需一个 base URL 和一个 AccessKey,上游配置全在管理界面完成。

  • 2多凭据调度

    API 密钥和订阅账号共用一套凭据管理、权重调度和健康检查机制。

  • 3故障隔离

    支持重试、冷却、黑名单和会话亲和,降低单个凭据故障的影响。

  • 4可观测

    内置 UI 查看健康状态、路由、日志、用量和成本估算。

  • 5部署简单

    Docker Compose 一键启动,数据可存 SQLite、MySQL 或 PostgreSQL。

适用场景

  • 多模型统一接入

    例如:团队同时使用 OpenAI、Anthropic 和 Gemini,通过一个网关地址切换模型。

  • 多凭据负载均衡

    例如:为同一上游配置多个 API Key,按权重调度并自动冷却失败凭据。

  • 订阅账号共享

    例如:把 Codex 或 Claude 订阅账号接入网关,供内部多个应用调用。

  • 用量与成本追踪

    例如:在管理界面按渠道或分组查看请求日志和成本估算。

它是怎么工作的

  1. 第 1 步

    添加渠道

    选择上游服务,添加 API Key 或完成订阅账号 OAuth 授权。

  2. 第 2 步

    创建分组

    基于渠道配置可用模型和运行时策略。

  3. 第 3 步

    生成 AccessKey

    设定可访问的分组和客户端协议,把 AccessKey 交给应用。

  4. 第 4 步

    网关转发

    请求经网关按策略调度到上游凭据,失败时自动重试或切换。

快速上手

  1. 1

    克隆并启动

    复制环境变量文件后用 Docker Compose 启动服务。

    git clone --depth 1 https://github.com/tbphp/gpt-load.git && cd gpt-load && cp .env.example .env && docker compose up -d
  2. 2

    检查健康

    确认服务在 3001 端口正常响应。

    curl --fail http://127.0.0.1:3001/health
  3. 3

    获取管理密钥

    首次启动生成管理密钥,读取后妥善保存。

    docker compose exec gpt-load sh -c 'cat /app/data/auth.key'
  4. 4

    登录控制台

    浏览器打开 http://127.0.0.1:3001,用管理密钥登录并完成初始配置。

适合谁

  • 需要统一管理多个 AI 上游和凭据的开发团队
  • 希望自托管网关并保留原生 API 接口的开发者
  • 需要请求日志和用量统计的运维或平台人员

不太适合

  • 只需要单一 API Key 直接调用、不想维护网关的个人开发者
  • 无法使用 Docker 或不愿自托管服务的场景

成熟度

  • 活跃度最近一次推送在 2026 年 11 月,star 数超过 7200,更新活跃。
  • 文档README 提供快速启动、架构说明和在线演示,但部分细节需查阅官网。
  • 社区近 800 个 fork,开放 issue 仅 16 个,社区有一定规模且维护响应较好。
  • 上手难度Docker Compose 一键启动,管理界面完成配置,但多凭据和订阅账号配置需要一定理解。

同类项目怎么选

  • LiteLLMPython 生态,侧重多模型统一调用和代理,凭据调度与订阅账号管理方式不同。
  • One API同样提供多渠道聚合和密钥管理,但 GPT-Load 额外支持订阅账号和会话亲和等机制。

使用前注意

  • · 2.0 版本无法直接打开、导入或迁移 1.x 数据,升级前需阅读迁移说明。
  • · 默认只监听回环地址,对外提供服务需自行调整网络暴露和访问控制。
  • · 订阅账号渠道需要完成 OAuth 授权,部分客户端有回调端口要求。
  • · 项目采用 MIT 许可,可自由使用和修改。

主题标签

gogolangopenaigeminiginanthropicclaudeai-gatewayclaude-codecodexllmllm-gatewayload-balancerapi-gatewayself-hosted