GradientHQ GitHub avatar

parallax

Python
分布式大模型服务框架GradientHQ最近推送 2026年7月1日
模型推理与部署Apache-2.01,42915423 issues7 天 +1

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

分布式模型推理框架,让你用分散设备搭建自己的 AI 集群。

Parallax 是 Gradient 开发的完全去中心化推理引擎,可将不同配置和地理位置的节点组成集群来运行大模型。它支持在个人设备上托管本地 LLM,提供跨平台支持、流水线并行模型分片、Mac 上的分页 KV 缓存与连续批处理,以及动态请求调度和路由。

推荐指数

4.0

适合想用分散设备自建推理集群的开发者,但需注意硬件和网络要求。

近 7 天

+1

新增 Star

总 Star 排名

#2806

雷达追踪的 3,958 个 AI 仓库中

创建于

2025

2025年9月22日

核心亮点

  • 1去中心化集群

    可将不同配置和位置的节点组成推理集群。

  • 2跨平台支持

    支持 GPU 和 Mac 设备,后端分别基于 SGLang/vLLM 和 MLX LM。

  • 3模型分片

    通过流水线并行将大模型拆分到多个节点上运行。

  • 4Mac 优化

    为 Mac 提供分页 KV 缓存和连续批处理。

  • 5动态调度

    内置请求调度和路由以提升性能。

适用场景

  • 个人设备托管 LLM

    例如:在个人 Mac 和 GPU 服务器上分布式运行 Qwen 模型。

  • 跨地域推理集群

    例如:将办公室和云端的机器组成集群,统一提供推理服务。

  • 低成本实验环境

    例如:利用闲置设备搭建小规模推理集群进行模型测试。

它是怎么工作的

  1. 第 1 步

    节点发现与组网

    通过 Lattica 实现 P2P 通信,将分散节点连接成集群。

  2. 第 2 步

    模型分片

    使用流水线并行将模型拆分到不同节点。

  3. 第 3 步

    后端推理

    GPU 节点使用 SGLang/vLLM,Mac 节点使用 MLX LM 执行计算。

  4. 第 4 步

    请求调度

    动态调度和路由请求到合适的节点,并管理 KV 缓存。

快速上手

  1. 1

    克隆仓库

    获取 Parallax 源代码。

    git clone https://github.com/GradientHQ/parallax.git
  2. 2

    安装依赖

    运行安装脚本并激活虚拟环境。

    cd parallax && ./install.sh && source .venv/bin/activate
  3. 3

    启动服务

    指定模型启动推理服务。

    parallax serve -m Qwen/Qwen3.5-0.8B

适合谁

  • 想用分散设备搭建推理集群的开发者
  • 需要跨平台(GPU/Mac)运行 LLM 的团队
  • 对去中心化推理感兴趣的研究者

不太适合

  • 需要开箱即用、无需配置的单一节点用户
  • 对网络稳定性要求极高的生产环境

成熟度

  • 活跃度最近更新在 2026 年 7 月,持续活跃。
  • 文档README 提供安装和快速开始,但详细文档需查阅 docs 目录。
  • 社区1429 星、154 叉,有 Discord 和 issue 跟踪,规模中等。
  • 上手难度提供一键安装脚本,但分布式配置需要一定经验。

同类项目怎么选

  • vLLMvLLM 是单节点高性能推理引擎,Parallax 侧重跨节点分布式。
  • SGLangSGLang 是推理运行时,Parallax 在其上构建分布式调度层。
  • Ray ServeRay Serve 是通用分布式服务框架,Parallax 专为 LLM 推理优化。

使用前注意

  • · 采用 Apache-2.0 许可,商用需遵守条款。
  • · 分布式部署依赖网络稳定性,跨地域延迟可能影响性能。
  • · 不同硬件后端(GPU/Mac)的模型支持可能不一致。
  • · 项目较新,生产环境使用需评估稳定性。

主题标签

chatbotdistributed-systemskimillamallmqwenoss-gptlarge-language-modelspythonpytorchdecentralized-inferenceblackwelltransformerllm-servingglmminimaxdeepseek