PaddlePaddle GitHub avatar

Paddle-Lite

C++
端侧推理引擎PaddlePaddle最近推送 2026年4月27日
模型推理与部署Apache-2.07,2921,61848 issues7 天 +2

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

飞桨的高性能轻量级端侧推理引擎,把模型部署到手机和嵌入式设备。

Paddle Lite 是 PaddlePaddle 生态中的深度学习推理框架,定位于移动端、嵌入式与边缘端硬件。它支持 Android、iOS、嵌入式 Linux、Windows、macOS 和 Linux 主机,提供 C++、Java、Python 三种 API,并针对移动设备做了模型压缩和推理加速。

推荐指数

4.0

如果模型来自飞桨或可转成飞桨格式,且目标平台是手机或嵌入式设备,这是成熟度较高的选择。

近 7 天

+2

新增 Star

总 Star 排名

#912

雷达追踪的 3,958 个 AI 仓库中

创建于

2017

2017年9月20日

核心亮点

  • 1多硬件后端

    除 CPU 外还支持 OpenCL、Metal、华为麒麟/昇腾 NPU、昆仑芯、高通 QNN、寒武纪 MLU、Android NNAPI 等多种加速硬件。

  • 2多平台覆盖

    官方提供 Android、iOS、x86、macOS 的预编译库,也支持嵌入式 Linux 设备。

  • 3模型优化工具

    自带 opt 工具,可做量化、子图融合、Kernel 优选,并统计算子信息。

  • 4多语言 API

    提供 C++、Java、Python 三种接口,并附各平台完整示例。

  • 5生产验证

    README 称已在百度内部业务及外部企业生产任务中使用。

适用场景

  • Android 端图像推理

    例如:把 MobileNet 分类模型用 opt 优化后集成到 Android App,调用 Java API 做实时图像分类。

  • 嵌入式 Linux 设备

    例如:在 ARM Linux 开发板上部署目标检测模型,用 C++ API 做本地推理。

  • 调用手机 NPU 加速

    例如:在华为麒麟设备上通过 Paddle Lite 调用 NPU 后端运行模型,降低 CPU 占用。

  • 跨框架模型迁移

    例如:把 PyTorch 或 TensorFlow 模型经 X2Paddle 转成飞桨格式,再用 Paddle Lite 部署到端侧。

它是怎么工作的

  1. 第 1 步

    准备模型

    使用 PaddlePaddle 的 save_inference_model 保存推理模型;其他框架模型先用 X2Paddle 转换。

  2. 第 2 步

    模型优化

    用 Paddle Lite 的 opt 工具做量化、子图融合和 Kernel 优选,生成轻量且更快的模型。

  3. 第 3 步

    获取预测库

    下载官方预编译库,或按目标平台源码编译(推荐 Docker 统一编译环境)。

  4. 第 4 步

    集成推理

    在应用中调用 C++、Java 或 Python API 加载优化后的模型并执行推理。

快速上手

  1. 1

    准备飞桨推理模型

    用 save_inference_model 保存模型;非飞桨模型先用 X2Paddle 转换。

  2. 2

    用 opt 优化模型

    下载 opt 工具,对模型做量化和算子优化,并查看目标硬件的算子支持情况。

  3. 3

    下载预编译库

    从官网或 GitHub Releases 获取对应平台的 Paddle Lite 预测库。

  4. 4

    运行示例

    参考 C++、Java 或 Python 完整示例,把推理代码集成到自己的项目中。

适合谁

  • 需要把飞桨模型部署到手机或嵌入式设备的开发者
  • 要在 Android/iOS 上做本地推理的移动应用团队
  • 需要调用多种国产 NPU 或 GPU 加速硬件的工程师
  • 使用 C++ 做端侧集成的嵌入式开发者

不太适合

  • 模型主要基于 PyTorch 且不想做格式转换的用户
  • 只需要在服务器 GPU 上做推理、不涉及端侧部署的场景

成熟度

  • 活跃度最近一次推送在 2026 年 4 月,仓库持续维护。
  • 文档有中文官网文档、各平台示例和模型优化指南,README 链接完整。
  • 社区约 7300 star、1600 fork,开放 issue 仅 48 个,社区规模较大。
  • 上手难度需要先准备飞桨模型并经过 opt 优化,源码编译环境搭建有一定门槛。

同类项目怎么选

  • TensorFlow Lite主要服务 TensorFlow 生态,模型格式和工具链与飞桨不同。
  • ONNX Runtime以 ONNX 为中间格式,跨框架支持更广,端侧硬件后端覆盖与 Paddle Lite 有差异。
  • NCNN腾讯开源的轻量级推理框架,主要面向手机端,模型转换和算子支持与 Paddle Lite 不同。

使用前注意

  • · 推理模型需为 PaddlePaddle 格式,其他框架模型要先经 X2Paddle 转换。
  • · 使用前一般要用 opt 工具做模型优化,否则可能无法发挥最佳性能。
  • · 不同硬件后端支持情况不同,需对照官方文档确认目标平台和算子支持。
  • · 源码编译环境较复杂,官方推荐使用 Docker 统一编译环境。

主题标签

mobiledeep-learningneural-networkarmmdlbaiduembeddedmalifpgamobile-deep-learning