NVIDIA-NeMo GitHub avatar

Switchyard

Rust
LLM 多模型路由网关NVIDIA-NeMo最近推送 2026年11月20日
模型推理与部署Apache-2.03,659378128 issues

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

NVIDIA 开源的 LLM 路由库,帮 AI 代理按请求选择模型,平衡成本与效果。

Switchyard 是 NVIDIA NeMo 团队开源的库,用 Rust 编写,提供核心库 libsy。它让 AI 代理在多个模型和供应商之间做路由决策,同时保持 OpenAI 和 Anthropic 原生 API 兼容。你负责模型客户端、凭证和服务,Switchyard 只提供路由决策。

推荐指数

4.0

适合需要多模型路由的团队,但需自行集成和评估,不是开箱即用的生产网关。

总 Star 排名

#1569

雷达追踪的 3,971 个 AI 仓库中

创建于

2026

2026年5月20日

核心亮点

  • 1API 兼容

    保持 OpenAI 与 Anthropic 原生接口,现有应用改动小。

  • 2多种路由算法

    提供 Auto、Task、Execution、Composite 等选择,可按需控制。

  • 3Rust 核心

    libsy 可嵌入网关或代理框架,性能好且可复用。

  • 4多网关集成

    支持 Agent Router、LiteLLM、NeMo Relay、OpenRouter 等。

  • 5本地评估

    自带演示服务器,可用自己的模型池对比路由配置。

适用场景

  • 多模型成本优化

    例如:简单请求走便宜模型,复杂任务升级到强模型,降低整体开销。

  • 模型选型基准测试

    例如:用同一套请求对比不同模型组合的成功率、延迟和成本。

  • 网关层路由

    例如:在 LiteLLM 或 Envoy 网关中接入 Switchyard,按请求历史选择模型。

  • 代理框架集成

    例如:在自研 agent harness 中嵌入 libsy,由它决定每步调用哪个模型。

它是怎么工作的

  1. 第 1 步

    配置模型池

    列出代理可用的模型,并选择路由算法。

  2. 第 2 步

    分析请求

    算法检查请求内容或代理近期工具活动,部分算法会调用模型判断任务。

  3. 第 3 步

    返回路由决策

    libsy 输出选中的模型,由你的网关或代理发起实际调用。

  4. 第 4 步

    动态调整

    代理继续工作时,路由可随任务进展变化。

快速上手

  1. 1

    阅读快速开始

    按官方文档配置模型池和路由算法。

  2. 2

    选择集成方式

    通过现有网关(如 LiteLLM)或嵌入 libsy 到自己的服务。

  3. 3

    本地评估

    用演示服务器和自有模型池对比路由配置。

  4. 4

    验证路由生效

    按文档检查路由是否按预期工作。

适合谁

  • 需要多模型路由的 AI 应用开发者
  • 自建网关或代理框架的团队
  • 做模型选型和成本优化的工程师

不太适合

  • 想要开箱即用生产网关的用户
  • 不熟悉 Rust 或网关集成的初学者

成熟度

  • 活跃度近期有更新,star 数较高,但 issue 数 124 说明仍在活跃开发。
  • 文档README 结构清晰,有快速开始、基准测试和故障排查文档。
  • 社区3623 star、374 fork,有贡献者,但生态仍在早期。
  • 上手难度需要自行集成网关或嵌入 libsy,不是开箱即用。

同类项目怎么选

  • LiteLLMLiteLLM 是 Python 网关,提供统一 API 和路由;Switchyard 是 Rust 路由库,需嵌入现有网关。
  • OpenRouterOpenRouter 是托管路由服务;Switchyard 是开源库,可自托管并控制路由逻辑。

使用前注意

  • · 独立服务器仅用于演示和本地评估,不是受支持的生产部署方式。
  • · LiteLLM 集成标记为实验性,且不支持分类器或升级算法所需的中间模型调用。
  • · NeMo Relay 0.8.x 和 0.9.0 可能丢失上游错误状态,启用前需查看兼容性说明。
  • · 路由效果需结合完整代理和模型池评估,便宜模型调用不保证任务总成本更低。