AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
NVIDIA 开源的 LLM 路由库,帮 AI 代理按请求选择模型,平衡成本与效果。
Switchyard 是 NVIDIA NeMo 团队开源的库,用 Rust 编写,提供核心库 libsy。它让 AI 代理在多个模型和供应商之间做路由决策,同时保持 OpenAI 和 Anthropic 原生 API 兼容。你负责模型客户端、凭证和服务,Switchyard 只提供路由决策。
推荐指数
适合需要多模型路由的团队,但需自行集成和评估,不是开箱即用的生产网关。
总 Star 排名
#1569
雷达追踪的 3,971 个 AI 仓库中
创建于
2026
2026年5月20日
核心亮点
1API 兼容
保持 OpenAI 与 Anthropic 原生接口,现有应用改动小。
2多种路由算法
提供 Auto、Task、Execution、Composite 等选择,可按需控制。
3Rust 核心
libsy 可嵌入网关或代理框架,性能好且可复用。
4多网关集成
支持 Agent Router、LiteLLM、NeMo Relay、OpenRouter 等。
5本地评估
自带演示服务器,可用自己的模型池对比路由配置。
适用场景
多模型成本优化
例如:简单请求走便宜模型,复杂任务升级到强模型,降低整体开销。
模型选型基准测试
例如:用同一套请求对比不同模型组合的成功率、延迟和成本。
网关层路由
例如:在 LiteLLM 或 Envoy 网关中接入 Switchyard,按请求历史选择模型。
代理框架集成
例如:在自研 agent harness 中嵌入 libsy,由它决定每步调用哪个模型。
它是怎么工作的
第 1 步
配置模型池
列出代理可用的模型,并选择路由算法。
第 2 步
分析请求
算法检查请求内容或代理近期工具活动,部分算法会调用模型判断任务。
第 3 步
返回路由决策
libsy 输出选中的模型,由你的网关或代理发起实际调用。
第 4 步
动态调整
代理继续工作时,路由可随任务进展变化。
快速上手
- 1
阅读快速开始
按官方文档配置模型池和路由算法。
- 2
选择集成方式
通过现有网关(如 LiteLLM)或嵌入 libsy 到自己的服务。
- 3
本地评估
用演示服务器和自有模型池对比路由配置。
- 4
验证路由生效
按文档检查路由是否按预期工作。
适合谁
- 需要多模型路由的 AI 应用开发者
- 自建网关或代理框架的团队
- 做模型选型和成本优化的工程师
不太适合
- 想要开箱即用生产网关的用户
- 不熟悉 Rust 或网关集成的初学者
成熟度
- 活跃度近期有更新,star 数较高,但 issue 数 124 说明仍在活跃开发。
- 文档README 结构清晰,有快速开始、基准测试和故障排查文档。
- 社区3623 star、374 fork,有贡献者,但生态仍在早期。
- 上手难度需要自行集成网关或嵌入 libsy,不是开箱即用。
同类项目怎么选
- LiteLLMLiteLLM 是 Python 网关,提供统一 API 和路由;Switchyard 是 Rust 路由库,需嵌入现有网关。
- OpenRouterOpenRouter 是托管路由服务;Switchyard 是开源库,可自托管并控制路由逻辑。
使用前注意
- · 独立服务器仅用于演示和本地评估,不是受支持的生产部署方式。
- · LiteLLM 集成标记为实验性,且不支持分类器或升级算法所需的中间模型调用。
- · NeMo Relay 0.8.x 和 0.9.0 可能丢失上游错误状态,启用前需查看兼容性说明。
- · 路由效果需结合完整代理和模型池评估,便宜模型调用不保证任务总成本更低。
