theagentrouter GitHub avatar

agent-router

Go
大模型统一接入网关theagentrouter最近推送 2026年11月19日
模型推理与部署Apache-2.02,421471456 issues7 天 +37

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

基于 Envoy 的统一 AI 网关,用一个 OpenAI 兼容接口接入多家模型服务。

Agent Router(原 Envoy AI Gateway)是 Agentic AI Foundation 旗下的开源项目,用 Go 编写,基于 Envoy Gateway 构建。它为应用团队提供统一的、兼容 OpenAI 的 API,把托管模型服务、自托管推理和 MCP 服务器都接到同一个入口;平台团队则集中管理凭证、路由、配额、故障转移和用量归属,由 Envoy 实际转发流量。

推荐指数

4.0

适合在 Kubernetes 上统一治理多家 LLM 接入的团队,背靠 Envoy 生态,成熟度较高。

近 7 天

+37

新增 Star

总 Star 排名

#2028

雷达追踪的 3,958 个 AI 仓库中

创建于

2024

2024年10月21日

核心亮点

  • 1统一 OpenAI 接口

    应用侧只需对接一个兼容 OpenAI 的端点,即可调用多家模型服务。

  • 2Envoy 承载流量

    控制面负责策略,数据面由 Envoy 和 Envoy Gateway 执行转发。

  • 3集中治理

    凭证、路由、配额、故障转移和用量归属集中在一处管理。

  • 4两层网关模式

    一层做认证与全局限流,二层细控自托管模型集群的访问。

  • 5本地一键运行

    用 aigw run 即可在本机启动独立路由器,便于快速验证。

适用场景

  • 多模型统一接入

    例如:应用代码只配置一个 base URL,后端按需路由到 OpenAI、Anthropic 或自托管模型。

  • Kubernetes 平台治理

    例如:平台团队用 CRD 定义路由和后端安全策略,统一管理各业务团队的模型调用。

  • 自托管推理集群

    例如:用二层网关对自建模型服务做细粒度访问控制和端点选择。

  • 本地开发调试

    例如:开发者用 aigw run 在本机起一个兼容 OpenAI 的路由器做联调。

它是怎么工作的

  1. 第 1 步

    定义资源

    通过 AIGatewayRoute、AIServiceBackend、BackendSecurityPolicy 等 CRD 描述路由与后端。

  2. 第 2 步

    配置凭证

    由 BackendSecurityPolicy 统一管理各模型服务的访问凭证。

  3. 第 3 步

    Envoy 执行

    Envoy Gateway 将配置下发到 Envoy,由 Envoy 实际转发和限流。

  4. 第 4 步

    分层接入

    一层网关做认证、顶层路由和全局限流,二层网关处理自托管模型入口。

快速上手

  1. 1

    本地运行

    设置 API Key 后用一条命令启动独立路由器。

    OPENAI_API_KEY=sk-your-key aigw run
  2. 2

    指向客户端

    把任意兼容 OpenAI 的客户端指向本地地址。

  3. 3

    部署到 K8s

    参考 Getting Started 指南,在 Kubernetes 上配合 Envoy Gateway 部署。

适合谁

  • 在 Kubernetes 上运行 AI 应用的平台团队
  • 需要统一接入多家模型服务的后端开发者
  • 关注配额、限流和用量归属的运维人员

不太适合

  • 只想调用单个模型 API 的个人开发者
  • 不使用 Kubernetes 或 Envoy 的小型项目

成熟度

  • 活跃度2024 年创建,最近一次推送在 2026 年 11 月,仍在持续更新。
  • 文档有独立文档站、快速开始、CLI 指南和博客。
  • 社区约 2400 star、468 fork,但开放 issue 约 450 个。
  • 上手难度本地一条命令可跑,生产部署需要理解 Envoy Gateway 和 CRD。

同类项目怎么选

  • LiteLLM以 Python 库和代理服务为主,不依赖 Envoy 和 Kubernetes。
  • Portkey Gateway提供独立的 AI 网关服务,部署形态与 Envoy 生态不同。

使用前注意

  • · 采用 Apache-2.0 许可,商用前仍需自行确认合规要求。
  • · 生产使用依赖 Kubernetes 和 Envoy Gateway,有一定学习成本。
  • · 项目已从 Envoy AI Gateway 更名,CRD、CLI 和镜像名保持不变,但仓库和文档地址已迁移。
  • · 开放 issue 数量较多,遇到问题可能需要自行排查。

主题标签

aiai-gatewayapi-gatewaykubernetesllminferenceenvoyenvoyproxy