AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
把多台家用设备组成集群,分布式加速大模型推理。
Distributed Llama 是一个用 C++ 编写的分布式 LLM 推理项目,通过张量并行和以太网高速同步,把多台设备连接成集群来加速推理。设备越多,推理越快。支持 Linux、macOS 和 Windows,针对 ARM 和 x86_64 AVX2 CPU 优化。
推荐指数
适合想用现有设备拼集群跑大模型的开发者,节点数需为 2 的幂且量化格式有限制。
近 7 天
+4
新增 Star
总 Star 排名
#1726
雷达追踪的 3,958 个 AI 仓库中
创建于
2023
2023年12月5日
核心亮点
1分布式推理
用张量并行把模型切分到多台设备,内存分摊、算力叠加。
2跨平台
支持 Linux、macOS、Windows,并针对 ARM 和 x86_64 AVX2 CPU 优化。
3一键启动
提供 launch.py 脚本,一条命令下载模型并启动根节点。
4模型覆盖广
支持 Llama 3.1/3.2/3.3、DeepSeek R1 Distill、Qwen 3 等系列。
5多种运行方式
提供推理基准、CLI 聊天、Worker 节点和 API 服务器等命令。
适用场景
家用设备组集群
例如:用 4 台 Mac Mini M4 Pro 24GB 内存运行 Llama 3.3 70B。
低成本跑大模型
例如:把多台普通 PC 或树莓派连起来,分摊大模型的内存占用。
本地 API 服务
例如:用 dllama-api 启动 API 服务器,供本地应用调用推理。
它是怎么工作的
第 1 步
根节点加载模型
根节点负责加载模型和权重,并转发给 Worker 节点。
第 2 步
切分神经网络
模型按张量并行切分,每个节点处理自己负责的那一片。
第 3 步
同步状态
根节点同步神经网络状态,节点间通过以太网高速通信。
第 4 步
扩展节点
在根节点基础上增加 2^n - 1 个 Worker 节点来加速推理。
快速上手
- 1
准备环境
安装 Python 3 和 C++ 编译器。
- 2
启动根节点
以 Llama 3.1 8B Instruct Q40 为例,命令会自动下载模型和 tokenizer。
python launch.py llama3_1_8b_instruct_q40 - 3
启动 Worker
在其它设备上运行 Worker 节点,指定根节点地址。
dllama worker --host 10.0.0.2 --port 9999 - 4
开始推理
在根节点用 chat 或 inference 命令连接 Worker 进行推理。
dllama chat --model <path> --tokenizer <path> --workers 10.0.0.2:9999
适合谁
- 想用多台家用设备拼集群跑大模型的开发者
- 需要本地部署 LLM 推理的技术爱好者
- 有 ARM 或 x86_64 AVX2 CPU 设备可用的用户
不太适合
- 只有单台设备、不需要分布式的用户
- 需要开箱即用、不想手动转换模型的用户
成熟度
- 活跃度最近更新于 2026 年 11 月,持续添加新模型支持。
- 文档README 详细,提供多平台运行文档和模型转换指南。
- 社区约 3100 star、260 fork,有 Discord 社区。
- 上手难度一键脚本降低门槛,但节点数须为 2 的幂、量化格式受限。
同类项目怎么选
- llama.cpp单机推理为主,生态更成熟,分布式支持不如本项目专注。
- vLLM面向 GPU 服务端高吞吐推理,不是家用设备集群方案。
- exo同样做分布式推理,但主要面向异构设备自动组网。
使用前注意
- · 节点数只能是 1、2、4……2^n 个,且上限等于模型的 KV 头数。
- · 仅支持 q40 模型配 q80 缓冲,或 f32 模型配 f32 缓冲两种量化组合。
- · 根节点需要比 Worker 节点更多内存。
- · 采用 MIT 许可,可自由使用和修改。
