Portkey-AI GitHub avatar

gateway

TypeScript
大模型网关Portkey-AI最近推送 2026年5月25日
模型推理与部署MIT13.4k1,385345 issues7 天 +44

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

一个快速、开源的 AI 网关,用统一 API 路由到 1600+ 模型并集成护栏。

Portkey AI Gateway 是一个轻量级、开源的 AI 网关,提供统一 API 接入 1600+ 语言、视觉、音频和图像模型。它支持自动重试、回退、负载均衡、条件路由和护栏等能力,帮助开发者快速集成多种 LLM 并提升应用可靠性。

推荐指数

4.0

功能全面、性能出色的开源 AI 网关,适合需要多模型路由和护栏的团队。

近 7 天

+44

新增 Star

总 Star 排名

#531

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年8月23日

核心亮点

  • 1统一 API 接入

    用一套兼容 OpenAI 的接口调用 1600+ 模型,减少适配成本。

  • 2低延迟轻量

    声称延迟低于 1ms,体积仅 122kb,适合对性能敏感的场景。

  • 3内置护栏

    支持 50+ 护栏规则,可在请求/响应中过滤内容,提升安全性。

  • 4高可用路由

    提供自动重试、回退、负载均衡和条件路由,减少服务中断。

  • 5多模态与 MCP

    支持文本、视觉、音频、图像模型,并可管理 MCP 服务器。

适用场景

  • 多模型统一接入

    例如:一个应用需要同时调用 OpenAI、Anthropic 和本地模型,通过网关统一转发。

  • 提升服务可靠性

    例如:主模型超时后自动回退到备用模型,避免请求失败。

  • 内容安全过滤

    例如:在输出侧配置护栏,拦截包含敏感词的回复。

  • 负载均衡与成本控制

    例如:根据请求特征将流量分配到不同价位的模型,平衡成本与效果。

它是怎么工作的

  1. 第 1 步

    启动网关

    通过 npx 或 Docker 在本地或云端运行网关服务。

  2. 第 2 步

    配置提供商

    在请求中指定提供商和 API Key,网关负责转发。

  3. 第 3 步

    附加配置

    通过 config 对象设置重试、回退、护栏等策略。

  4. 第 4 步

    发送请求

    使用兼容 OpenAI 的 SDK 或 REST 调用网关接口。

快速上手

  1. 1

    启动网关

    本地运行网关,默认监听 8787 端口。

    npx @portkey-ai/gateway
  2. 2

    安装客户端

    安装 Python 客户端库。

    pip install -qU portkey-ai
  3. 3

    发送请求

    使用 Portkey 客户端调用模型。

适合谁

  • 需要统一接入多家 LLM 的开发者
  • 关注服务可靠性和回退策略的团队
  • 需要内容护栏和路由策略的 AI 应用团队

不太适合

  • 只需要调用单一模型且无路由需求的个人项目
  • 对开源版本功能有限制敏感、必须使用企业版的用户

成熟度

  • 活跃度最近更新于 2026 年 5 月,star 数超过 1.3 万,活跃度高。
  • 文档README 提供快速开始和配置示例,并有独立文档站。
  • 社区有 Discord 社区和较多 fork,但 open issue 数 344 略多。
  • 上手难度一条 npx 命令即可启动,并提供兼容 OpenAI 的客户端。

同类项目怎么选

  • LiteLLM同样提供统一 API 接入多家模型,但侧重 Python 生态和代理部署。
  • OpenRouter托管式多模型路由服务,无需自部署,但非开源。
  • One API开源 LLM API 管理与分发系统,侧重密钥管理和渠道分配。

使用前注意

  • · 开源版与企业版功能可能有差异,2.0 版本尚在预发布阶段。
  • · 需要自行管理各提供商的 API Key 和网关部署。
  • · 护栏和路由配置需要一定学习成本。
  • · MIT 许可,可商用,但需注意依赖组件的许可。

主题标签

gatewaygenerative-aillmopsllmsai-gatewaylangchainopenaihacktoberfestllmllm-gatewaymcpmcp-clientmcp-gatewaymcp-serversmodel-router