pytorch GitHub avatar

executorch

Python
PyTorch 端侧推理框架pytorch最近推送 2026年11月19日
模型推理与部署NOASSERTION5,1811,2541,408 issues7 天 +9

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月19日

PyTorch 官方端侧推理栈,把模型部署到手机、嵌入式设备和微控制器上运行。

ExecuTorch 是 PyTorch 官方的开源端侧 AI 推理栈,覆盖手机、可穿戴设备、笔记本、浏览器、嵌入式系统和微控制器。它从 PyTorch 模型出发,用 torch.export 捕获计算图,针对目标硬件优化后导出为 .pte 文件,再通过 C++、Python、Swift/Objective-C、Kotlin/Java 或 JavaScript API 在设备上运行。README 称其已用于 Instagram、WhatsApp、Facebook、Messenger 以及 Meta Quest 和 Ray-Ban Meta 设备。

推荐指数

4.0

背靠 PyTorch 生态的官方端侧方案,适合需要把 PyTorch 模型落到移动端或嵌入式设备的团队,但上手门槛和版本兼容需要留意。

近 7 天

+9

新增 Star

总 Star 排名

#1235

雷达追踪的 3,958 个 AI 仓库中

创建于

2022

2022年2月26日

核心亮点

  • 1PyTorch 原生流程

    直接从 torch.export 出发,保留程序元数据和源码映射,便于导出与调试。

  • 2多硬件后端

    可把计算图分区委托给 CPU、GPU、NPU 或 DSP,同时保留可移植的 CPU 内核作为回退。

  • 3按需裁剪运行时

    选择性构建只链接部署所需的算子、内核和委托,控制体积。

  • 4可观测与可扩展

    提供 ETDump、ETRecord 和数值调试工具,也支持添加自定义算子和后端。

  • 5覆盖场景广

    README 列出本地 LLM、语音、多模态、计算机视觉和嵌入式 AI 五类工作负载示例。

适用场景

  • 移动端本地大模型

    例如:在手机上运行量化文本模型,支持长上下文、工具调用和多会话执行。

  • 语音交互功能

    例如:在设备端做流式语音识别、语音合成、语音活动检测和说话人分离。

  • 嵌入式与微控制器

    例如:在 Cortex-M 芯片、Arduino 或 Raspberry Pi Pico 上跑视觉或传感器推理。

  • 移动端视觉应用

    例如:用 YOLO26 做目标检测,或用 EfficientSAM 做可提示分割。

它是怎么工作的

  1. 第 1 步

    捕获模型

    用 torch.export 把 PyTorch 模型导出为可移植的计算图。

  2. 第 2 步

    针对硬件优化

    按目标设备做量化、算子替换和分区,把部分图委托给 GPU、NPU 或 DSP 后端。

  3. 第 3 步

    导出 .pte

    生成面向具体后端的 .pte 文件,每个需要硬件特化的目标各导出一份。

  4. 第 4 步

    集成运行时

    在设备上通过 C++、Python、Swift、Kotlin 或 JavaScript API 加载并执行 .pte。

  5. 第 5 步

    调试与调优

    用 ETDump、ETRecord 和数值调试工具检查性能与精度,必要时补充自定义算子。

快速上手

  1. 1

    安装稳定版

    在 Python 3.11–3.15 环境中安装;Linux 默认 CUDA 构建,macOS 和 Windows 为 CPU 构建。

    pip install executorch
  2. 2

    安装 nightly

    想用 main 分支最新功能时安装 nightly,需显式指定 torch。

    pip install --upgrade --pre executorch torch --extra-index-url https://download.pytorch.org/whl/nightly/cpu
  3. 3

    按导出指南操作

    参考官方标准导出指南,把模型用 torch.export 捕获并导出为 .pte。

  4. 4

    选一个模型示例

    从 examples/models 里挑最接近的示例改造成自己的模型。

适合谁

  • 需要把 PyTorch 模型部署到手机或嵌入式设备的开发者
  • 做端侧 LLM、语音或视觉应用的团队
  • 需要按硬件后端定制推理运行时的工程师

不太适合

  • 只想在服务器 GPU 上做推理、不涉及端侧部署的用户
  • 不熟悉 PyTorch 导出流程的初学者

成熟度

  • 活跃度最近推送时间为 2026-11-18,仓库持续活跃。
  • 文档有稳定版与 main 两套文档、导出指南和大量模型示例,但部分功能标注为 nightly 可能变动。
  • 社区约 5180 star、1252 fork,有 Discord 频道和贡献者列表,但开放 issue 约 1403 个。
  • 上手难度需要理解 torch.export、后端委托和选择性构建,端侧部署还要自行验证精度与性能。

同类项目怎么选

  • ONNX Runtime以 ONNX 为中间格式,跨框架支持更广;ExecuTorch 与 PyTorch 导出流程绑定更紧。
  • TensorFlow Lite面向 TensorFlow 生态的端侧运行时;ExecuTorch 服务 PyTorch 模型。
  • llama.cpp专注本地 LLM 推理的 C/C++ 实现;ExecuTorch 覆盖 LLM 之外的多种模型和硬件后端。

使用前注意

  • · 许可证字段为 NOASSERTION,使用前需确认具体许可条款。
  • · README 标注 main 上的部分功能可能在发布前变动,生产环境应使用最新 release 和稳定文档。
  • · .pte 的版本兼容承诺有限,升级运行时前需查看兼容性策略。
  • · 部署效果依赖算子、运行时和后端覆盖,需在目标设备上验证数值精度、内存和性能。

主题标签

deep-learningembeddedmachine-learningmobileneural-networktensorgpu