AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
自托管 LLM/VLM 负载均衡与服务编排工具,单二进制部署。
Paddler 是一个开源的大模型与视觉语言模型负载均衡和服务平台,用于在自有基础设施上运行、部署和扩展推理服务。它基于 ggml 生态,内置 llama.cpp 推理引擎,可在 CPU 和 GPU 上运行,定位是 llm-d、Docker Model Runner 等项目的轻量替代方案,组件更少、部署更简单。
推荐指数
适合想用少量组件自建 LLM 集群的团队,单二进制加两个角色即可跑起来。
近 7 天
+2
新增 Star
总 Star 排名
#2529
雷达追踪的 3,958 个 AI 仓库中
创建于
2024
2024年4月28日
核心亮点
1组件极少
只有 balancer 和 agent 两个可部署组件,打包在单个二进制里。
2LLM 专用负载均衡
按槽位分发请求,每个槽位维护自己的上下文和 KV 缓存。
3请求缓冲
支持从零主机开始扩容,请求先缓冲再分发。
4内置管理面板
网页端可监控集群、增改模型、调整参数并直接测试推理。
5动态模型切换
可在运行中更换模型,无需重建整个集群。
适用场景
私有化推理服务
例如:医疗或金融团队在内网部署模型,数据不出自有服务器。
多机算力聚合
例如:把办公室几台带 GPU 的机器接入同一 balancer,组成本地推理集群。
成本可控的规模化部署
例如:用固定硬件资源替代按 token 计费的闭源 API,配合自动扩缩容工具增减 agent。
它是怎么工作的
第 1 步
启动 balancer
balancer 对外提供推理接口、内部管理接口和网页管理面板。
第 2 步
部署 agent
agent 通常跑在独立实例上,按配置的槽位数量接收请求。
第 3 步
槽位生成
agent 把请求分给槽位,槽位用内置 llama.cpp 引擎生成 token 或向量。
第 4 步
动态扩缩
agent 可动态加入,便于对接自动扩缩容工具;无可用 agent 时请求先缓冲。
快速上手
- 1
获取二进制
从 GitHub Releases 下载,或用 Rust 1.88.0 以上从源码构建。
- 2
启动 balancer
指定推理、管理和网页面板三个地址。
paddler balancer --inference-addr 127.0.0.1:8061 --management-addr 127.0.0.1:8060 --web-admin-panel-addr 127.0.0.1:8062 - 3
启动 agent
以 4 个槽位为例接入管理地址。
paddler agent --management-addr 127.0.0.1:8060 --slots 4 - 4
打开管理面板
浏览器访问 127.0.0.1:8062 查看集群并测试推理。
适合谁
- 需要自托管 LLM 推理的产品团队
- 负责规模化部署的 DevOps/LLMOps 团队
- 对数据隐私和合规要求高的组织
- 希望用固定成本替代按 token 计费的组织
不太适合
- 只想调用现成云端 API 的个人开发者
- 需要非 ggml 生态模型格式的团队
成熟度
- 活跃度最近一次推送在 2026 年 11 月,仍在持续开发。
- 文档有独立文档站、API 文档、视频和会议演讲,README 覆盖安装与架构。
- 社区约 1693 star、99 fork、30 个开放 issue,有 Discord 和 Reddit 渠道。
- 上手难度单二进制,两条命令即可起 balancer 和 agent,另有网页面板。
同类项目怎么选
- llm-dREADME 将其列为同类替代对象,Paddler 强调组件更少、部署更简单。
- Docker Model Runner同样被列为替代对象,Paddler 以单二进制和 balancer/agent 架构区分。
使用前注意
- · 采用 Apache-2.0 许可,商用前仍需自行确认合规要求。
- · 推理依赖内置 llama.cpp,模型需适配 ggml 生态。
- · 桌面应用仍处于 beta 阶段。
- · 自托管需要自行准备 CPU/GPU 硬件和运维能力。
