b4rtaz GitHub avatar

distributed-llama

C++
分布式大模型推理引擎b4rtaz最近推送 2026年11月17日
模型推理与部署MIT3,14126247 issues7 天 +4

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

把多台家用设备组成集群,分布式加速大模型推理。

Distributed Llama 是一个用 C++ 编写的分布式 LLM 推理项目,通过张量并行和以太网高速同步,把多台设备连接成集群来加速推理。设备越多,推理越快。支持 Linux、macOS 和 Windows,针对 ARM 和 x86_64 AVX2 CPU 优化。

推荐指数

4.0

适合想用现有设备拼集群跑大模型的开发者,节点数需为 2 的幂且量化格式有限制。

近 7 天

+4

新增 Star

总 Star 排名

#1726

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年12月5日

核心亮点

  • 1分布式推理

    用张量并行把模型切分到多台设备,内存分摊、算力叠加。

  • 2跨平台

    支持 Linux、macOS、Windows,并针对 ARM 和 x86_64 AVX2 CPU 优化。

  • 3一键启动

    提供 launch.py 脚本,一条命令下载模型并启动根节点。

  • 4模型覆盖广

    支持 Llama 3.1/3.2/3.3、DeepSeek R1 Distill、Qwen 3 等系列。

  • 5多种运行方式

    提供推理基准、CLI 聊天、Worker 节点和 API 服务器等命令。

适用场景

  • 家用设备组集群

    例如:用 4 台 Mac Mini M4 Pro 24GB 内存运行 Llama 3.3 70B。

  • 低成本跑大模型

    例如:把多台普通 PC 或树莓派连起来,分摊大模型的内存占用。

  • 本地 API 服务

    例如:用 dllama-api 启动 API 服务器,供本地应用调用推理。

它是怎么工作的

  1. 第 1 步

    根节点加载模型

    根节点负责加载模型和权重,并转发给 Worker 节点。

  2. 第 2 步

    切分神经网络

    模型按张量并行切分,每个节点处理自己负责的那一片。

  3. 第 3 步

    同步状态

    根节点同步神经网络状态,节点间通过以太网高速通信。

  4. 第 4 步

    扩展节点

    在根节点基础上增加 2^n - 1 个 Worker 节点来加速推理。

快速上手

  1. 1

    准备环境

    安装 Python 3 和 C++ 编译器。

  2. 2

    启动根节点

    以 Llama 3.1 8B Instruct Q40 为例,命令会自动下载模型和 tokenizer。

    python launch.py llama3_1_8b_instruct_q40
  3. 3

    启动 Worker

    在其它设备上运行 Worker 节点,指定根节点地址。

    dllama worker --host 10.0.0.2 --port 9999
  4. 4

    开始推理

    在根节点用 chat 或 inference 命令连接 Worker 进行推理。

    dllama chat --model <path> --tokenizer <path> --workers 10.0.0.2:9999

适合谁

  • 想用多台家用设备拼集群跑大模型的开发者
  • 需要本地部署 LLM 推理的技术爱好者
  • 有 ARM 或 x86_64 AVX2 CPU 设备可用的用户

不太适合

  • 只有单台设备、不需要分布式的用户
  • 需要开箱即用、不想手动转换模型的用户

成熟度

  • 活跃度最近更新于 2026 年 11 月,持续添加新模型支持。
  • 文档README 详细,提供多平台运行文档和模型转换指南。
  • 社区约 3100 star、260 fork,有 Discord 社区。
  • 上手难度一键脚本降低门槛,但节点数须为 2 的幂、量化格式受限。

同类项目怎么选

  • llama.cpp单机推理为主,生态更成熟,分布式支持不如本项目专注。
  • vLLM面向 GPU 服务端高吞吐推理,不是家用设备集群方案。
  • exo同样做分布式推理,但主要面向异构设备自动组网。

使用前注意

  • · 节点数只能是 1、2、4……2^n 个,且上限等于模型的 KV 头数。
  • · 仅支持 q40 模型配 q80 缓冲,或 f32 模型配 f32 缓冲两种量化组合。
  • · 根节点需要比 Worker 节点更多内存。
  • · 采用 MIT 许可,可自由使用和修改。

主题标签

distributed-computingllama2llmllm-inferenceneural-networkllmsopen-llmdistributed-llmllama3