intentee GitHub avatar

paddler

Rust
大模型负载均衡器intentee最近推送 2026年11月12日
模型推理与部署Apache-2.01,6949830 issues7 天 +2

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

自托管 LLM/VLM 负载均衡与服务编排工具,单二进制部署。

Paddler 是一个开源的大模型与视觉语言模型负载均衡和服务平台,用于在自有基础设施上运行、部署和扩展推理服务。它基于 ggml 生态,内置 llama.cpp 推理引擎,可在 CPU 和 GPU 上运行,定位是 llm-d、Docker Model Runner 等项目的轻量替代方案,组件更少、部署更简单。

推荐指数

4.0

适合想用少量组件自建 LLM 集群的团队,单二进制加两个角色即可跑起来。

近 7 天

+2

新增 Star

总 Star 排名

#2529

雷达追踪的 3,958 个 AI 仓库中

创建于

2024

2024年4月28日

核心亮点

  • 1组件极少

    只有 balancer 和 agent 两个可部署组件,打包在单个二进制里。

  • 2LLM 专用负载均衡

    按槽位分发请求,每个槽位维护自己的上下文和 KV 缓存。

  • 3请求缓冲

    支持从零主机开始扩容,请求先缓冲再分发。

  • 4内置管理面板

    网页端可监控集群、增改模型、调整参数并直接测试推理。

  • 5动态模型切换

    可在运行中更换模型,无需重建整个集群。

适用场景

  • 私有化推理服务

    例如:医疗或金融团队在内网部署模型,数据不出自有服务器。

  • 多机算力聚合

    例如:把办公室几台带 GPU 的机器接入同一 balancer,组成本地推理集群。

  • 成本可控的规模化部署

    例如:用固定硬件资源替代按 token 计费的闭源 API,配合自动扩缩容工具增减 agent。

它是怎么工作的

  1. 第 1 步

    启动 balancer

    balancer 对外提供推理接口、内部管理接口和网页管理面板。

  2. 第 2 步

    部署 agent

    agent 通常跑在独立实例上,按配置的槽位数量接收请求。

  3. 第 3 步

    槽位生成

    agent 把请求分给槽位,槽位用内置 llama.cpp 引擎生成 token 或向量。

  4. 第 4 步

    动态扩缩

    agent 可动态加入,便于对接自动扩缩容工具;无可用 agent 时请求先缓冲。

快速上手

  1. 1

    获取二进制

    从 GitHub Releases 下载,或用 Rust 1.88.0 以上从源码构建。

  2. 2

    启动 balancer

    指定推理、管理和网页面板三个地址。

    paddler balancer --inference-addr 127.0.0.1:8061 --management-addr 127.0.0.1:8060 --web-admin-panel-addr 127.0.0.1:8062
  3. 3

    启动 agent

    以 4 个槽位为例接入管理地址。

    paddler agent --management-addr 127.0.0.1:8060 --slots 4
  4. 4

    打开管理面板

    浏览器访问 127.0.0.1:8062 查看集群并测试推理。

适合谁

  • 需要自托管 LLM 推理的产品团队
  • 负责规模化部署的 DevOps/LLMOps 团队
  • 对数据隐私和合规要求高的组织
  • 希望用固定成本替代按 token 计费的组织

不太适合

  • 只想调用现成云端 API 的个人开发者
  • 需要非 ggml 生态模型格式的团队

成熟度

  • 活跃度最近一次推送在 2026 年 11 月,仍在持续开发。
  • 文档有独立文档站、API 文档、视频和会议演讲,README 覆盖安装与架构。
  • 社区约 1693 star、99 fork、30 个开放 issue,有 Discord 和 Reddit 渠道。
  • 上手难度单二进制,两条命令即可起 balancer 和 agent,另有网页面板。

同类项目怎么选

  • llm-dREADME 将其列为同类替代对象,Paddler 强调组件更少、部署更简单。
  • Docker Model Runner同样被列为替代对象,Paddler 以单二进制和 balancer/agent 架构区分。

使用前注意

  • · 采用 Apache-2.0 许可,商用前仍需自行确认合规要求。
  • · 推理依赖内置 llama.cpp,模型需适配 ggml 生态。
  • · 桌面应用仍处于 beta 阶段。
  • · 自托管需要自行准备 CPU/GPU 硬件和运维能力。

主题标签

aillamacppllmllmopsload-balancer