bigscience-workshop GitHub avatar

petals

Python
分布式大模型运行工具bigscience-workshop最近推送 2024年9月7日
模型推理与部署MIT10.7k657114 issues7 天 +16

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

通过志愿者共享 GPU 以 BitTorrent 方式在家运行大语言模型,支持推理和微调。

Petals 是一个社区驱动的分布式系统,让用户在自己的电脑或 Colab 上运行 Llama 3.1、Mixtral、Falcon、BLOOM 等大模型。它把模型层分布到公共 swarm 中,你只需加载一小部分,就能像本地模型一样调用。支持推理和微调,速度比 offloading 快最多 10 倍。

推荐指数

4.0

适合想低成本体验大模型或参与共享算力的开发者,但依赖公共网络且隐私需注意。

近 7 天

+16

新增 Star

总 Star 排名

#648

雷达追踪的 3,958 个 AI 仓库中

创建于

2022

2022年6月12日

核心亮点

  • 1分布式运行大模型

    模型层分散在志愿者 GPU 上,本地只需少量显存即可使用 405B 等大模型。

  • 2兼容 Transformers

    使用 AutoDistributedModelForCausalLM 接口,像本地模型一样调用。

  • 3支持微调

    可在分布式网络上对模型进行 prompt-tuning 等微调。

  • 4多平台部署

    提供 Linux、Windows WSL、Docker、macOS 的服务器运行方式。

  • 5公共监控与聊天

    有 health.petals.dev 监控和 chat.petals.dev 聊天应用可直接体验。

适用场景

  • 低成本体验大模型

    例如:在 Colab 或普通电脑上加载 Llama 3.1 405B 进行文本生成。

  • 共享 GPU 算力

    例如:用自己的 GPU 运行 petals.cli.run_server 托管模型层,帮助扩大公共 swarm。

  • 模型微调实验

    例如:按照教程对 BLOOM 进行 prompt-tuning 创建个性化聊天机器人。

  • 私有 swarm 部署

    例如:在信任的团队内搭建私有 swarm,处理敏感数据。

它是怎么工作的

  1. 第 1 步

    模型分片

    将大模型按层切分,不同层由不同志愿者服务器托管。

  2. 第 2 步

    加入网络

    客户端连接公共 swarm,自动发现并路由到托管各层的服务器。

  3. 第 3 步

    本地调用

    通过 Transformers 接口发送输入,模型层在分布式网络中依次计算。

  4. 第 4 步

    返回结果

    各层计算结果汇总后返回给客户端,完成推理或微调。

快速上手

  1. 1

    安装依赖

    安装 PyTorch 和 Petals 包。

    pip install git+https://github.com/bigscience-workshop/petals
  2. 2

    加载模型推理

    使用 AutoDistributedModelForCausalLM 连接分布式网络并生成文本。

  3. 3

    托管模型层(可选)

    运行服务器命令,将自己的 GPU 加入 swarm。

    python -m petals.cli.run_server meta-llama/Meta-Llama-3.1-405B-Instruct

适合谁

  • 想低成本体验大模型的个人开发者
  • 有 GPU 并愿意共享算力的用户
  • 需要分布式微调实验的研究者

不太适合

  • 对数据隐私要求极高的生产环境
  • 需要稳定低延迟服务的商业应用

成熟度

  • 活跃度最后推送在 2024 年 9 月,近期活跃度一般。
  • 文档README 详细,有 Colab 教程、Wiki 和 FAQ。
  • 社区超过 1 万 star,有 Discord 和公共监控,但 issue 数 114 表明有一定维护压力。
  • 上手难度需要配置环境并理解分布式概念,托管服务器需一定运维知识。

同类项目怎么选

  • llama.cpp本地量化推理,不依赖分布式网络,但大模型需要较高本地资源。
  • vLLM面向单机或多机的高吞吐推理服务,不是志愿者共享模式。
  • Hivemind更底层的分布式训练库,Petals 基于它构建但更专注于大模型推理与微调。

使用前注意

  • · 数据会经过公共 swarm 中的其他节点,敏感数据应使用私有 swarm。
  • · 公共 swarm 的可用性和速度受志愿者在线情况影响。
  • · 托管服务器需要一定 GPU 资源,且需遵守模型许可(如 Llama 需申请访问)。
  • · 项目采用 MIT 许可,但模型权重有各自许可限制。

主题标签

bloomdeep-learningdistributed-systemslanguage-modelslarge-language-modelsmachine-learningneural-networkspytorchvolunteer-computingpipeline-parallelismtensor-parallelismguanacollamachatbotgpttransformernlppretrained-modelsfalconmixtral