AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
分布式模型推理框架,让你用分散设备搭建自己的 AI 集群。
Parallax 是 Gradient 开发的完全去中心化推理引擎,可将不同配置和地理位置的节点组成集群来运行大模型。它支持在个人设备上托管本地 LLM,提供跨平台支持、流水线并行模型分片、Mac 上的分页 KV 缓存与连续批处理,以及动态请求调度和路由。
推荐指数
适合想用分散设备自建推理集群的开发者,但需注意硬件和网络要求。
近 7 天
+1
新增 Star
总 Star 排名
#2806
雷达追踪的 3,958 个 AI 仓库中
创建于
2025
2025年9月22日
核心亮点
1去中心化集群
可将不同配置和位置的节点组成推理集群。
2跨平台支持
支持 GPU 和 Mac 设备,后端分别基于 SGLang/vLLM 和 MLX LM。
3模型分片
通过流水线并行将大模型拆分到多个节点上运行。
4Mac 优化
为 Mac 提供分页 KV 缓存和连续批处理。
5动态调度
内置请求调度和路由以提升性能。
适用场景
个人设备托管 LLM
例如:在个人 Mac 和 GPU 服务器上分布式运行 Qwen 模型。
跨地域推理集群
例如:将办公室和云端的机器组成集群,统一提供推理服务。
低成本实验环境
例如:利用闲置设备搭建小规模推理集群进行模型测试。
它是怎么工作的
第 1 步
节点发现与组网
通过 Lattica 实现 P2P 通信,将分散节点连接成集群。
第 2 步
模型分片
使用流水线并行将模型拆分到不同节点。
第 3 步
后端推理
GPU 节点使用 SGLang/vLLM,Mac 节点使用 MLX LM 执行计算。
第 4 步
请求调度
动态调度和路由请求到合适的节点,并管理 KV 缓存。
快速上手
- 1
克隆仓库
获取 Parallax 源代码。
git clone https://github.com/GradientHQ/parallax.git - 2
安装依赖
运行安装脚本并激活虚拟环境。
cd parallax && ./install.sh && source .venv/bin/activate - 3
启动服务
指定模型启动推理服务。
parallax serve -m Qwen/Qwen3.5-0.8B
适合谁
- 想用分散设备搭建推理集群的开发者
- 需要跨平台(GPU/Mac)运行 LLM 的团队
- 对去中心化推理感兴趣的研究者
不太适合
- 需要开箱即用、无需配置的单一节点用户
- 对网络稳定性要求极高的生产环境
成熟度
- 活跃度最近更新在 2026 年 7 月,持续活跃。
- 文档README 提供安装和快速开始,但详细文档需查阅 docs 目录。
- 社区1429 星、154 叉,有 Discord 和 issue 跟踪,规模中等。
- 上手难度提供一键安装脚本,但分布式配置需要一定经验。
同类项目怎么选
- vLLMvLLM 是单节点高性能推理引擎,Parallax 侧重跨节点分布式。
- SGLangSGLang 是推理运行时,Parallax 在其上构建分布式调度层。
- Ray ServeRay Serve 是通用分布式服务框架,Parallax 专为 LLM 推理优化。
使用前注意
- · 采用 Apache-2.0 许可,商用需遵守条款。
- · 分布式部署依赖网络稳定性,跨地域延迟可能影响性能。
- · 不同硬件后端(GPU/Mac)的模型支持可能不一致。
- · 项目较新,生产环境使用需评估稳定性。
