AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日
基于 Envoy 的统一 AI 网关,用一个 OpenAI 兼容接口接入多家模型服务。
Agent Router(原 Envoy AI Gateway)是 Agentic AI Foundation 旗下的开源项目,用 Go 编写,基于 Envoy Gateway 构建。它为应用团队提供统一的、兼容 OpenAI 的 API,把托管模型服务、自托管推理和 MCP 服务器都接到同一个入口;平台团队则集中管理凭证、路由、配额、故障转移和用量归属,由 Envoy 实际转发流量。
推荐指数
适合在 Kubernetes 上统一治理多家 LLM 接入的团队,背靠 Envoy 生态,成熟度较高。
近 7 天
+37
新增 Star
总 Star 排名
#2028
雷达追踪的 3,958 个 AI 仓库中
创建于
2024
2024年10月21日
核心亮点
1统一 OpenAI 接口
应用侧只需对接一个兼容 OpenAI 的端点,即可调用多家模型服务。
2Envoy 承载流量
控制面负责策略,数据面由 Envoy 和 Envoy Gateway 执行转发。
3集中治理
凭证、路由、配额、故障转移和用量归属集中在一处管理。
4两层网关模式
一层做认证与全局限流,二层细控自托管模型集群的访问。
5本地一键运行
用 aigw run 即可在本机启动独立路由器,便于快速验证。
适用场景
多模型统一接入
例如:应用代码只配置一个 base URL,后端按需路由到 OpenAI、Anthropic 或自托管模型。
Kubernetes 平台治理
例如:平台团队用 CRD 定义路由和后端安全策略,统一管理各业务团队的模型调用。
自托管推理集群
例如:用二层网关对自建模型服务做细粒度访问控制和端点选择。
本地开发调试
例如:开发者用 aigw run 在本机起一个兼容 OpenAI 的路由器做联调。
它是怎么工作的
第 1 步
定义资源
通过 AIGatewayRoute、AIServiceBackend、BackendSecurityPolicy 等 CRD 描述路由与后端。
第 2 步
配置凭证
由 BackendSecurityPolicy 统一管理各模型服务的访问凭证。
第 3 步
Envoy 执行
Envoy Gateway 将配置下发到 Envoy,由 Envoy 实际转发和限流。
第 4 步
分层接入
一层网关做认证、顶层路由和全局限流,二层网关处理自托管模型入口。
快速上手
- 1
本地运行
设置 API Key 后用一条命令启动独立路由器。
OPENAI_API_KEY=sk-your-key aigw run - 2
指向客户端
把任意兼容 OpenAI 的客户端指向本地地址。
- 3
部署到 K8s
参考 Getting Started 指南,在 Kubernetes 上配合 Envoy Gateway 部署。
适合谁
- 在 Kubernetes 上运行 AI 应用的平台团队
- 需要统一接入多家模型服务的后端开发者
- 关注配额、限流和用量归属的运维人员
不太适合
- 只想调用单个模型 API 的个人开发者
- 不使用 Kubernetes 或 Envoy 的小型项目
成熟度
- 活跃度2024 年创建,最近一次推送在 2026 年 11 月,仍在持续更新。
- 文档有独立文档站、快速开始、CLI 指南和博客。
- 社区约 2400 star、468 fork,但开放 issue 约 450 个。
- 上手难度本地一条命令可跑,生产部署需要理解 Envoy Gateway 和 CRD。
同类项目怎么选
- LiteLLM以 Python 库和代理服务为主,不依赖 Envoy 和 Kubernetes。
- Portkey Gateway提供独立的 AI 网关服务,部署形态与 Envoy 生态不同。
使用前注意
- · 采用 Apache-2.0 许可,商用前仍需自行确认合规要求。
- · 生产使用依赖 Kubernetes 和 Envoy Gateway,有一定学习成本。
- · 项目已从 Envoy AI Gateway 更名,CRD、CLI 和镜像名保持不变,但仓库和文档地址已迁移。
- · 开放 issue 数量较多,遇到问题可能需要自行排查。
