AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日
腾讯开源的高性能神经网络推理框架,专为手机和嵌入式设备部署优化。
ncnn 是一个面向移动端、嵌入式和桌面端部署优化的高性能神经网络推理框架。它没有第三方运行时依赖,支持 CPU 和 Vulkan GPU 后端,并提供 pnnx 工具把 PyTorch 和 ONNX 模型转换成 ncnn 模型。开发者可以用它把深度学习模型部署到手机、PC、浏览器和边缘设备上,腾讯的 QQ、Qzone、微信、天天 P 图等应用都在使用。
推荐指数
移动端推理的成熟选择,无依赖、跨平台、有腾讯内部大规模验证,适合认真做端侧部署的团队。
近 7 天
+21
新增 Star
总 Star 排名
#299
雷达追踪的 3,958 个 AI 仓库中
创建于
2017
2017年6月30日
核心亮点
1无第三方依赖
运行时不需要额外依赖库,集成到 App 或设备里更简单。
2CPU 与 Vulkan
同时支持 CPU 和 Vulkan GPU 后端,可按设备能力选择加速方式。
3pnnx 转换工具
提供 pnnx 把 PyTorch、ONNX 模型转成 ncnn 格式,打通训练到部署。
4平台覆盖广
README 列出 Android、iOS、HarmonyOS、Linux、Windows、macOS、WebAssembly、树莓派、RISC-V 等构建方式。
5工业级验证
已在腾讯多款亿级用户应用中使用,稳定性有实际场景背书。
适用场景
Android/iOS App 集成模型
例如:把 PyTorch 训练的图像分类模型用 pnnx 转换后,打包进安卓 App 做本地推理。
嵌入式与边缘设备
例如:在树莓派或 RISC-V 开发板上跑轻量检测模型,不依赖云端。
浏览器端推理
例如:编译为 WebAssembly,在网页里直接运行模型,减少服务端压力。
桌面端工具
例如:在 PC 软件里嵌入推理能力,用 CPU 或 Vulkan 加速。
它是怎么工作的
第 1 步
训练模型
在 PyTorch 等框架中完成模型训练并导出。
第 2 步
pnnx 转换
用 pnnx 把模型导出为 .ncnn.param 和 .ncnn.bin 两个文件。
第 3 步
加载模型
在 C++ 或 Python 中创建 ncnn::Net,加载 param 和 bin。
第 4 步
输入推理
通过 Extractor 输入张量、指定输入输出层名,取出结果。
快速上手
- 1
安装 pnnx
在 PyTorch 环境中安装转换工具。
pip3 install pnnx - 2
导出模型
调用 pnnx.export 生成 ncnn 的 param 和 bin 文件。
- 3
C++ 加载推理
用 ncnn::Net 加载模型,创建 Extractor 输入输出。
- 4
或使用 Python API
用 ncnn 的 Python 包完成同样的加载和推理。
适合谁
- 需要把模型部署到手机或嵌入式设备的开发者
- 对推理性能和包体积敏感的端侧团队
- 使用 C++ 或 Python 做推理集成的工程师
- 需要跨 Android、iOS、鸿蒙等多平台部署的项目
不太适合
- 只想在服务器 GPU 上跑大模型训练或推理的用户
- 不熟悉模型转换流程、希望开箱即用的初学者
成熟度
- 活跃度最近一次推送在 2026 年 11 月,持续维护。
- 文档README 有快速上手和构建链接,详细内容放在 wiki,需要跳转查阅。
- 社区2.4 万 star、4500 多 fork,有 QQ 群、Telegram 和 Discord,但开放 issue 约 1300 个。
- 上手难度需要先做模型转换再写 C++/Python 集成代码,对新手有一定门槛。
同类项目怎么选
- TensorFlow Lite谷歌生态,与 TensorFlow 结合紧密,ncnn 更偏 PyTorch/ONNX 转换且无第三方依赖。
- MNN阿里开源的同类移动端推理框架,同样支持多后端,生态和算子覆盖各有侧重。
- ONNX Runtime通用推理运行时,平台覆盖广,但移动端体积和依赖通常比 ncnn 重。
使用前注意
- · 许可证字段为 NOASSERTION,README 标注 BSD 3-Clause,商用前建议核对 LICENSE.txt。
- · 不同平台的构建方式差异较大,需按 wiki 对应平台操作。
- · Vulkan 后端依赖设备 GPU 支持,部分低端设备只能走 CPU。
- · 开放 issue 数量较多,遇到问题可能需要自行排查或到社区提问。
