AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
面向多模型与多算力的可编程路由决策层,按语义为每次调用选择或组合模型。
这是 vLLM 项目下的一个开源决策层,用 Go 编写。它给 agent 框架提供统一 API,按你设定的策略在本地、私有和云端多个后端之间选择或组合模型,让调用留在允许的位置,并可按质量、延迟、成本设定优先级。
推荐指数
背靠 vLLM 生态、迭代活跃,适合需要多模型调度与护栏的团队评估,但 issue 积压较多,需留意运维成本。
总 Star 排名
#1007
雷达追踪的 3,958 个 AI 仓库中
创建于
2025
2025年8月27日
核心亮点
1统一多模型入口
一个 API 对接多个已配置后端,agent 循环和工具仍由你的框架保留。
2策略驱动选择
按质量、延迟、成本等偏好决定每次调用走哪个模型或组合。
3位置可控
可在边缘、私有和云之间约束调用范围。
4生态配套齐全
有文档站、在线试用、Hugging Face 模型集合和 Slack 社区。
5Apache-2.0 许可
商用和二次开发限制较少。
适用场景
多模型网关
例如:在网关层按请求语义把简单问答分给小模型、复杂推理分给大模型。
成本与延迟优化
例如:为不同任务设定质量与成本优先级,自动选择更便宜的后端。
私有与云端混合部署
例如:敏感请求只路由到私有集群,其余走云端算力。
Agent 模型选择
例如:给编码 agent 加自动选模型能力,类似 Cursor 的自动模式。
它是怎么工作的
第 1 步
接入请求
agent 框架通过统一 API 发起调用。
第 2 步
语义判断
路由器分析请求语义与信号,判断任务类型和需求。
第 3 步
按策略决策
依据配置的策略在多个后端中选择或组合模型。
第 4 步
转发执行
请求发往选定的本地、私有或云端推理后端。
快速上手
- 1
安装
用官方脚本安装稳定版。
curl -fsSL https://vllm-sr.ai/install.sh | bash -s -- --channel stable - 2
在线试用
在 System Duo 页面选示例,浏览器内直接运行,首次提供免费 key。
- 3
查看文档
按安装指南了解 pip、uv 或 agent 驱动的安装方式。
适合谁
- 在 Kubernetes 上做多模型调度的平台团队
- 需要网关与护栏能力的 LLM 应用团队
- 想按成本或延迟优化模型选择的开发者
不太适合
- 只需调用单一模型 API 的个人项目
- 不想维护额外路由组件的轻量场景
成熟度
- 活跃度2025 年 8 月创建,2026 年 11 月仍有推送,版本与博客更新频繁。
- 文档有独立文档站、安装指南、博客和论文,README 信息较全。
- 社区约 6.5k star、1.1k fork,有 Slack 频道和月度社区会议。
- 上手难度一键安装脚本可用,但多后端与策略配置需要一定运维基础。
同类项目怎么选
- LiteLLM偏统一代理与多供应商 API 兼容,本项目更强调语义信号驱动的路由决策。
- vLLM Production Stack侧重推理服务部署与扩缩容,本项目是其上游的决策路由层。
使用前注意
- · open issue 约 648 个,遇到问题可能需自行排查或等社区响应。
- · 需自行准备并维护多个推理后端,部署与配置有一定复杂度。
- · README 未列出具体资源消耗,生产前应评估路由层本身的延迟与成本。
- · 采用 Apache-2.0 许可,商用前仍建议核对条款。
