AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
通过志愿者共享 GPU 以 BitTorrent 方式在家运行大语言模型,支持推理和微调。
Petals 是一个社区驱动的分布式系统,让用户在自己的电脑或 Colab 上运行 Llama 3.1、Mixtral、Falcon、BLOOM 等大模型。它把模型层分布到公共 swarm 中,你只需加载一小部分,就能像本地模型一样调用。支持推理和微调,速度比 offloading 快最多 10 倍。
推荐指数
适合想低成本体验大模型或参与共享算力的开发者,但依赖公共网络且隐私需注意。
近 7 天
+16
新增 Star
总 Star 排名
#648
雷达追踪的 3,958 个 AI 仓库中
创建于
2022
2022年6月12日
核心亮点
1分布式运行大模型
模型层分散在志愿者 GPU 上,本地只需少量显存即可使用 405B 等大模型。
2兼容 Transformers
使用 AutoDistributedModelForCausalLM 接口,像本地模型一样调用。
3支持微调
可在分布式网络上对模型进行 prompt-tuning 等微调。
4多平台部署
提供 Linux、Windows WSL、Docker、macOS 的服务器运行方式。
5公共监控与聊天
有 health.petals.dev 监控和 chat.petals.dev 聊天应用可直接体验。
适用场景
低成本体验大模型
例如:在 Colab 或普通电脑上加载 Llama 3.1 405B 进行文本生成。
共享 GPU 算力
例如:用自己的 GPU 运行 petals.cli.run_server 托管模型层,帮助扩大公共 swarm。
模型微调实验
例如:按照教程对 BLOOM 进行 prompt-tuning 创建个性化聊天机器人。
私有 swarm 部署
例如:在信任的团队内搭建私有 swarm,处理敏感数据。
它是怎么工作的
第 1 步
模型分片
将大模型按层切分,不同层由不同志愿者服务器托管。
第 2 步
加入网络
客户端连接公共 swarm,自动发现并路由到托管各层的服务器。
第 3 步
本地调用
通过 Transformers 接口发送输入,模型层在分布式网络中依次计算。
第 4 步
返回结果
各层计算结果汇总后返回给客户端,完成推理或微调。
快速上手
- 1
安装依赖
安装 PyTorch 和 Petals 包。
pip install git+https://github.com/bigscience-workshop/petals - 2
加载模型推理
使用 AutoDistributedModelForCausalLM 连接分布式网络并生成文本。
- 3
托管模型层(可选)
运行服务器命令,将自己的 GPU 加入 swarm。
python -m petals.cli.run_server meta-llama/Meta-Llama-3.1-405B-Instruct
适合谁
- 想低成本体验大模型的个人开发者
- 有 GPU 并愿意共享算力的用户
- 需要分布式微调实验的研究者
不太适合
- 对数据隐私要求极高的生产环境
- 需要稳定低延迟服务的商业应用
成熟度
- 活跃度最后推送在 2024 年 9 月,近期活跃度一般。
- 文档README 详细,有 Colab 教程、Wiki 和 FAQ。
- 社区超过 1 万 star,有 Discord 和公共监控,但 issue 数 114 表明有一定维护压力。
- 上手难度需要配置环境并理解分布式概念,托管服务器需一定运维知识。
同类项目怎么选
- llama.cpp本地量化推理,不依赖分布式网络,但大模型需要较高本地资源。
- vLLM面向单机或多机的高吞吐推理服务,不是志愿者共享模式。
- Hivemind更底层的分布式训练库,Petals 基于它构建但更专注于大模型推理与微调。
使用前注意
- · 数据会经过公共 swarm 中的其他节点,敏感数据应使用私有 swarm。
- · 公共 swarm 的可用性和速度受志愿者在线情况影响。
- · 托管服务器需要一定 GPU 资源,且需遵守模型许可(如 Llama 需申请访问)。
- · 项目采用 MIT 许可,但模型权重有各自许可限制。
