AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
飞桨的高性能轻量级端侧推理引擎,把模型部署到手机和嵌入式设备。
Paddle Lite 是 PaddlePaddle 生态中的深度学习推理框架,定位于移动端、嵌入式与边缘端硬件。它支持 Android、iOS、嵌入式 Linux、Windows、macOS 和 Linux 主机,提供 C++、Java、Python 三种 API,并针对移动设备做了模型压缩和推理加速。
推荐指数
如果模型来自飞桨或可转成飞桨格式,且目标平台是手机或嵌入式设备,这是成熟度较高的选择。
近 7 天
+2
新增 Star
总 Star 排名
#912
雷达追踪的 3,958 个 AI 仓库中
创建于
2017
2017年9月20日
核心亮点
1多硬件后端
除 CPU 外还支持 OpenCL、Metal、华为麒麟/昇腾 NPU、昆仑芯、高通 QNN、寒武纪 MLU、Android NNAPI 等多种加速硬件。
2多平台覆盖
官方提供 Android、iOS、x86、macOS 的预编译库,也支持嵌入式 Linux 设备。
3模型优化工具
自带 opt 工具,可做量化、子图融合、Kernel 优选,并统计算子信息。
4多语言 API
提供 C++、Java、Python 三种接口,并附各平台完整示例。
5生产验证
README 称已在百度内部业务及外部企业生产任务中使用。
适用场景
Android 端图像推理
例如:把 MobileNet 分类模型用 opt 优化后集成到 Android App,调用 Java API 做实时图像分类。
嵌入式 Linux 设备
例如:在 ARM Linux 开发板上部署目标检测模型,用 C++ API 做本地推理。
调用手机 NPU 加速
例如:在华为麒麟设备上通过 Paddle Lite 调用 NPU 后端运行模型,降低 CPU 占用。
跨框架模型迁移
例如:把 PyTorch 或 TensorFlow 模型经 X2Paddle 转成飞桨格式,再用 Paddle Lite 部署到端侧。
它是怎么工作的
第 1 步
准备模型
使用 PaddlePaddle 的 save_inference_model 保存推理模型;其他框架模型先用 X2Paddle 转换。
第 2 步
模型优化
用 Paddle Lite 的 opt 工具做量化、子图融合和 Kernel 优选,生成轻量且更快的模型。
第 3 步
获取预测库
下载官方预编译库,或按目标平台源码编译(推荐 Docker 统一编译环境)。
第 4 步
集成推理
在应用中调用 C++、Java 或 Python API 加载优化后的模型并执行推理。
快速上手
- 1
准备飞桨推理模型
用 save_inference_model 保存模型;非飞桨模型先用 X2Paddle 转换。
- 2
用 opt 优化模型
下载 opt 工具,对模型做量化和算子优化,并查看目标硬件的算子支持情况。
- 3
下载预编译库
从官网或 GitHub Releases 获取对应平台的 Paddle Lite 预测库。
- 4
运行示例
参考 C++、Java 或 Python 完整示例,把推理代码集成到自己的项目中。
适合谁
- 需要把飞桨模型部署到手机或嵌入式设备的开发者
- 要在 Android/iOS 上做本地推理的移动应用团队
- 需要调用多种国产 NPU 或 GPU 加速硬件的工程师
- 使用 C++ 做端侧集成的嵌入式开发者
不太适合
- 模型主要基于 PyTorch 且不想做格式转换的用户
- 只需要在服务器 GPU 上做推理、不涉及端侧部署的场景
成熟度
- 活跃度最近一次推送在 2026 年 4 月,仓库持续维护。
- 文档有中文官网文档、各平台示例和模型优化指南,README 链接完整。
- 社区约 7300 star、1600 fork,开放 issue 仅 48 个,社区规模较大。
- 上手难度需要先准备飞桨模型并经过 opt 优化,源码编译环境搭建有一定门槛。
同类项目怎么选
- TensorFlow Lite主要服务 TensorFlow 生态,模型格式和工具链与飞桨不同。
- ONNX Runtime以 ONNX 为中间格式,跨框架支持更广,端侧硬件后端覆盖与 Paddle Lite 有差异。
- NCNN腾讯开源的轻量级推理框架,主要面向手机端,模型转换和算子支持与 Paddle Lite 不同。
使用前注意
- · 推理模型需为 PaddlePaddle 格式,其他框架模型要先经 X2Paddle 转换。
- · 使用前一般要用 opt 工具做模型优化,否则可能无法发挥最佳性能。
- · 不同硬件后端支持情况不同,需对照官方文档确认目标平台和算子支持。
- · 源码编译环境较复杂,官方推荐使用 Docker 统一编译环境。
