AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月19日
PyTorch 官方端侧推理栈,把模型部署到手机、嵌入式设备和微控制器上运行。
ExecuTorch 是 PyTorch 官方的开源端侧 AI 推理栈,覆盖手机、可穿戴设备、笔记本、浏览器、嵌入式系统和微控制器。它从 PyTorch 模型出发,用 torch.export 捕获计算图,针对目标硬件优化后导出为 .pte 文件,再通过 C++、Python、Swift/Objective-C、Kotlin/Java 或 JavaScript API 在设备上运行。README 称其已用于 Instagram、WhatsApp、Facebook、Messenger 以及 Meta Quest 和 Ray-Ban Meta 设备。
推荐指数
背靠 PyTorch 生态的官方端侧方案,适合需要把 PyTorch 模型落到移动端或嵌入式设备的团队,但上手门槛和版本兼容需要留意。
近 7 天
+9
新增 Star
总 Star 排名
#1235
雷达追踪的 3,958 个 AI 仓库中
创建于
2022
2022年2月26日
核心亮点
1PyTorch 原生流程
直接从 torch.export 出发,保留程序元数据和源码映射,便于导出与调试。
2多硬件后端
可把计算图分区委托给 CPU、GPU、NPU 或 DSP,同时保留可移植的 CPU 内核作为回退。
3按需裁剪运行时
选择性构建只链接部署所需的算子、内核和委托,控制体积。
4可观测与可扩展
提供 ETDump、ETRecord 和数值调试工具,也支持添加自定义算子和后端。
5覆盖场景广
README 列出本地 LLM、语音、多模态、计算机视觉和嵌入式 AI 五类工作负载示例。
适用场景
移动端本地大模型
例如:在手机上运行量化文本模型,支持长上下文、工具调用和多会话执行。
语音交互功能
例如:在设备端做流式语音识别、语音合成、语音活动检测和说话人分离。
嵌入式与微控制器
例如:在 Cortex-M 芯片、Arduino 或 Raspberry Pi Pico 上跑视觉或传感器推理。
移动端视觉应用
例如:用 YOLO26 做目标检测,或用 EfficientSAM 做可提示分割。
它是怎么工作的
第 1 步
捕获模型
用 torch.export 把 PyTorch 模型导出为可移植的计算图。
第 2 步
针对硬件优化
按目标设备做量化、算子替换和分区,把部分图委托给 GPU、NPU 或 DSP 后端。
第 3 步
导出 .pte
生成面向具体后端的 .pte 文件,每个需要硬件特化的目标各导出一份。
第 4 步
集成运行时
在设备上通过 C++、Python、Swift、Kotlin 或 JavaScript API 加载并执行 .pte。
第 5 步
调试与调优
用 ETDump、ETRecord 和数值调试工具检查性能与精度,必要时补充自定义算子。
快速上手
- 1
安装稳定版
在 Python 3.11–3.15 环境中安装;Linux 默认 CUDA 构建,macOS 和 Windows 为 CPU 构建。
pip install executorch - 2
安装 nightly
想用 main 分支最新功能时安装 nightly,需显式指定 torch。
pip install --upgrade --pre executorch torch --extra-index-url https://download.pytorch.org/whl/nightly/cpu - 3
按导出指南操作
参考官方标准导出指南,把模型用 torch.export 捕获并导出为 .pte。
- 4
选一个模型示例
从 examples/models 里挑最接近的示例改造成自己的模型。
适合谁
- 需要把 PyTorch 模型部署到手机或嵌入式设备的开发者
- 做端侧 LLM、语音或视觉应用的团队
- 需要按硬件后端定制推理运行时的工程师
不太适合
- 只想在服务器 GPU 上做推理、不涉及端侧部署的用户
- 不熟悉 PyTorch 导出流程的初学者
成熟度
- 活跃度最近推送时间为 2026-11-18,仓库持续活跃。
- 文档有稳定版与 main 两套文档、导出指南和大量模型示例,但部分功能标注为 nightly 可能变动。
- 社区约 5180 star、1252 fork,有 Discord 频道和贡献者列表,但开放 issue 约 1403 个。
- 上手难度需要理解 torch.export、后端委托和选择性构建,端侧部署还要自行验证精度与性能。
同类项目怎么选
- ONNX Runtime以 ONNX 为中间格式,跨框架支持更广;ExecuTorch 与 PyTorch 导出流程绑定更紧。
- TensorFlow Lite面向 TensorFlow 生态的端侧运行时;ExecuTorch 服务 PyTorch 模型。
- llama.cpp专注本地 LLM 推理的 C/C++ 实现;ExecuTorch 覆盖 LLM 之外的多种模型和硬件后端。
使用前注意
- · 许可证字段为 NOASSERTION,使用前需确认具体许可条款。
- · README 标注 main 上的部分功能可能在发布前变动,生产环境应使用最新 release 和稳定文档。
- · .pte 的版本兼容承诺有限,升级运行时前需查看兼容性策略。
- · 部署效果依赖算子、运行时和后端覆盖,需在目标设备上验证数值精度、内存和性能。
