Tencent GitHub avatar

ncnn

C++
移动端推理框架Tencent最近推送 2026年11月17日
模型推理与部署NOASSERTION24.1k4,5541,326 issues7 天 +21

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

腾讯开源的高性能神经网络推理框架,专为手机和嵌入式设备部署优化。

ncnn 是一个面向移动端、嵌入式和桌面端部署优化的高性能神经网络推理框架。它没有第三方运行时依赖,支持 CPU 和 Vulkan GPU 后端,并提供 pnnx 工具把 PyTorch 和 ONNX 模型转换成 ncnn 模型。开发者可以用它把深度学习模型部署到手机、PC、浏览器和边缘设备上,腾讯的 QQ、Qzone、微信、天天 P 图等应用都在使用。

推荐指数

5.0

移动端推理的成熟选择,无依赖、跨平台、有腾讯内部大规模验证,适合认真做端侧部署的团队。

近 7 天

+21

新增 Star

总 Star 排名

#299

雷达追踪的 3,958 个 AI 仓库中

创建于

2017

2017年6月30日

核心亮点

  • 1无第三方依赖

    运行时不需要额外依赖库,集成到 App 或设备里更简单。

  • 2CPU 与 Vulkan

    同时支持 CPU 和 Vulkan GPU 后端,可按设备能力选择加速方式。

  • 3pnnx 转换工具

    提供 pnnx 把 PyTorch、ONNX 模型转成 ncnn 格式,打通训练到部署。

  • 4平台覆盖广

    README 列出 Android、iOS、HarmonyOS、Linux、Windows、macOS、WebAssembly、树莓派、RISC-V 等构建方式。

  • 5工业级验证

    已在腾讯多款亿级用户应用中使用,稳定性有实际场景背书。

适用场景

  • Android/iOS App 集成模型

    例如:把 PyTorch 训练的图像分类模型用 pnnx 转换后,打包进安卓 App 做本地推理。

  • 嵌入式与边缘设备

    例如:在树莓派或 RISC-V 开发板上跑轻量检测模型,不依赖云端。

  • 浏览器端推理

    例如:编译为 WebAssembly,在网页里直接运行模型,减少服务端压力。

  • 桌面端工具

    例如:在 PC 软件里嵌入推理能力,用 CPU 或 Vulkan 加速。

它是怎么工作的

  1. 第 1 步

    训练模型

    在 PyTorch 等框架中完成模型训练并导出。

  2. 第 2 步

    pnnx 转换

    用 pnnx 把模型导出为 .ncnn.param 和 .ncnn.bin 两个文件。

  3. 第 3 步

    加载模型

    在 C++ 或 Python 中创建 ncnn::Net,加载 param 和 bin。

  4. 第 4 步

    输入推理

    通过 Extractor 输入张量、指定输入输出层名,取出结果。

快速上手

  1. 1

    安装 pnnx

    在 PyTorch 环境中安装转换工具。

    pip3 install pnnx
  2. 2

    导出模型

    调用 pnnx.export 生成 ncnn 的 param 和 bin 文件。

  3. 3

    C++ 加载推理

    用 ncnn::Net 加载模型,创建 Extractor 输入输出。

  4. 4

    或使用 Python API

    用 ncnn 的 Python 包完成同样的加载和推理。

适合谁

  • 需要把模型部署到手机或嵌入式设备的开发者
  • 对推理性能和包体积敏感的端侧团队
  • 使用 C++ 或 Python 做推理集成的工程师
  • 需要跨 Android、iOS、鸿蒙等多平台部署的项目

不太适合

  • 只想在服务器 GPU 上跑大模型训练或推理的用户
  • 不熟悉模型转换流程、希望开箱即用的初学者

成熟度

  • 活跃度最近一次推送在 2026 年 11 月,持续维护。
  • 文档README 有快速上手和构建链接,详细内容放在 wiki,需要跳转查阅。
  • 社区2.4 万 star、4500 多 fork,有 QQ 群、Telegram 和 Discord,但开放 issue 约 1300 个。
  • 上手难度需要先做模型转换再写 C++/Python 集成代码,对新手有一定门槛。

同类项目怎么选

  • TensorFlow Lite谷歌生态,与 TensorFlow 结合紧密,ncnn 更偏 PyTorch/ONNX 转换且无第三方依赖。
  • MNN阿里开源的同类移动端推理框架,同样支持多后端,生态和算子覆盖各有侧重。
  • ONNX Runtime通用推理运行时,平台覆盖广,但移动端体积和依赖通常比 ncnn 重。

使用前注意

  • · 许可证字段为 NOASSERTION,README 标注 BSD 3-Clause,商用前建议核对 LICENSE.txt。
  • · 不同平台的构建方式差异较大,需按 wiki 对应平台操作。
  • · Vulkan 后端依赖设备 GPU 支持,部分低端设备只能走 CPU。
  • · 开放 issue 数量较多,遇到问题可能需要自行排查或到社区提问。

主题标签

inferencehigh-preformancesimdarm-neondeep-learningartificial-intelligenceandroidiosncnnvulkanneural-networkcaffemxnetpytorchonnxdarknettensorflowmlirkerasriscv