vllm-project GitHub avatar

semantic-router

Go
语义路由决策层vllm-project最近推送 2026年11月19日
模型推理与部署Apache-2.06,5041,133647 issues

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

面向多模型与多算力的可编程路由决策层,按语义为每次调用选择或组合模型。

这是 vLLM 项目下的一个开源决策层,用 Go 编写。它给 agent 框架提供统一 API,按你设定的策略在本地、私有和云端多个后端之间选择或组合模型,让调用留在允许的位置,并可按质量、延迟、成本设定优先级。

推荐指数

4.0

背靠 vLLM 生态、迭代活跃,适合需要多模型调度与护栏的团队评估,但 issue 积压较多,需留意运维成本。

总 Star 排名

#1007

雷达追踪的 3,958 个 AI 仓库中

创建于

2025

2025年8月27日

核心亮点

  • 1统一多模型入口

    一个 API 对接多个已配置后端,agent 循环和工具仍由你的框架保留。

  • 2策略驱动选择

    按质量、延迟、成本等偏好决定每次调用走哪个模型或组合。

  • 3位置可控

    可在边缘、私有和云之间约束调用范围。

  • 4生态配套齐全

    有文档站、在线试用、Hugging Face 模型集合和 Slack 社区。

  • 5Apache-2.0 许可

    商用和二次开发限制较少。

适用场景

  • 多模型网关

    例如:在网关层按请求语义把简单问答分给小模型、复杂推理分给大模型。

  • 成本与延迟优化

    例如:为不同任务设定质量与成本优先级,自动选择更便宜的后端。

  • 私有与云端混合部署

    例如:敏感请求只路由到私有集群,其余走云端算力。

  • Agent 模型选择

    例如:给编码 agent 加自动选模型能力,类似 Cursor 的自动模式。

它是怎么工作的

  1. 第 1 步

    接入请求

    agent 框架通过统一 API 发起调用。

  2. 第 2 步

    语义判断

    路由器分析请求语义与信号,判断任务类型和需求。

  3. 第 3 步

    按策略决策

    依据配置的策略在多个后端中选择或组合模型。

  4. 第 4 步

    转发执行

    请求发往选定的本地、私有或云端推理后端。

快速上手

  1. 1

    安装

    用官方脚本安装稳定版。

    curl -fsSL https://vllm-sr.ai/install.sh | bash -s -- --channel stable
  2. 2

    在线试用

    在 System Duo 页面选示例,浏览器内直接运行,首次提供免费 key。

  3. 3

    查看文档

    按安装指南了解 pip、uv 或 agent 驱动的安装方式。

适合谁

  • 在 Kubernetes 上做多模型调度的平台团队
  • 需要网关与护栏能力的 LLM 应用团队
  • 想按成本或延迟优化模型选择的开发者

不太适合

  • 只需调用单一模型 API 的个人项目
  • 不想维护额外路由组件的轻量场景

成熟度

  • 活跃度2025 年 8 月创建,2026 年 11 月仍有推送,版本与博客更新频繁。
  • 文档有独立文档站、安装指南、博客和论文,README 信息较全。
  • 社区约 6.5k star、1.1k fork,有 Slack 频道和月度社区会议。
  • 上手难度一键安装脚本可用,但多后端与策略配置需要一定运维基础。

同类项目怎么选

  • LiteLLM偏统一代理与多供应商 API 兼容,本项目更强调语义信号驱动的路由决策。
  • vLLM Production Stack侧重推理服务部署与扩缩容,本项目是其上游的决策路由层。

使用前注意

  • · open issue 约 648 个,遇到问题可能需自行排查或等社区响应。
  • · 需自行准备并维护多个推理后端,部署与配置有一定复杂度。
  • · README 未列出具体资源消耗,生产前应评估路由层本身的延迟与成本。
  • · 采用 Apache-2.0 许可,商用前仍建议核对条款。

主题标签

mixture-of-modelssemantic-routervllmai-gatewaykubernetesllmrouterllmguardrailsinferencepytorchtransformer