nndeploy GitHub avatar

nndeploy

C++
人工智能部署框架nndeploy最近推送 2026年11月17日
模型推理与部署Apache-2.01,90423123 issues7 天 +3

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

一款简单易用和高性能的AI部署框架,通过可视化工作流和多端推理简化AI算法在端侧和云端的落地。

nndeploy 是一个用 C++ 编写的 AI 部署框架,旨在解决 AI 算法在桌面端、移动端、边缘设备和服务器上的部署问题。它提供可视化工作流,支持拖拽节点部署算法,并集成 13 种主流推理框架,实现一套工作流多端运行。

推荐指数

4.0

适合需要跨平台部署 AI 算法的开发者,可视化工作流和丰富节点库能显著降低部署成本。

近 7 天

+3

新增 Star

总 Star 排名

#2360

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年8月8日

核心亮点

  • 1可视化工作流

    拖拽节点即可部署 AI 算法,参数实时可调,效果一目了然。

  • 2多端推理

    一套工作流适配桌面、移动、边缘和服务器,集成 13 种推理框架。

  • 3高性能优化

    支持并行执行、零拷贝、内存池等优化策略,内置 C++/CUDA 等高性能节点。

  • 4开箱即用算法

    已部署 100+ 可视化节点,覆盖大模型、图像生成、检测、分割等场景。

  • 5自定义节点

    支持 Python/C++ 自定义节点,可无缝集成到可视化工作流。

适用场景

  • 跨平台 AI 应用部署

    例如:将 YOLOv8 目标检测模型部署到 Android 手机和 NVIDIA Jetson 边缘设备。

  • 大模型与 AIGC 工作流搭建

    例如:使用可视化工作流组合 QWen-2.5 和 Stable Diffusion 节点,实现文本生成图像。

  • 快速算法验证与调优

    例如:在桌面端拖拽节点搭建 OCR 流水线,实时调整参数观察效果。

它是怎么工作的

  1. 第 1 步

    选择推理框架

    根据目标平台从 13 种集成框架中选择合适的推理引擎,如 TensorRT、ONNXRuntime 或 MNN。

  2. 第 2 步

    搭建可视化工作流

    在图形界面中拖拽节点(预处理、推理、后处理等)并连接,形成算法流水线。

  3. 第 3 步

    调整参数并验证

    实时修改节点参数,观察输出效果,确保工作流正确运行。

  4. 第 4 步

    导出并部署

    将工作流导出为 JSON,通过 C++/Python API 在目标平台调用执行。

快速上手

  1. 1

    安装依赖

    根据官方文档安装编译工具和所需推理框架的依赖。

  2. 2

    编译项目

    使用 CMake 编译 nndeploy,可按需选择推理框架以减少依赖。

  3. 3

    运行示例

    启动可视化工作流工具或运行预置的算法示例。

适合谁

  • 需要将 AI 模型部署到多种硬件平台的开发者
  • 希望用可视化方式快速搭建和调试 AI 流水线的工程师
  • 需要高性能推理优化(如 CUDA、SIMD)的 C++ 开发者

不太适合

  • 仅需在单一平台(如仅 Linux 服务器)部署简单模型的用户
  • 不熟悉 C++ 或不想处理编译依赖的初学者

成熟度

  • 活跃度最近一次推送在 2026 年 11 月,持续活跃开发。
  • 文档提供中文文档、DeepWiki 和示例,但部分细节可能需查阅源码。
  • 社区1904 星、231 分支,23 个开放 issue,社区规模中等。
  • 上手难度可视化工作流降低使用门槛,但编译和依赖管理仍需一定经验。

使用前注意

  • · 采用 Apache-2.0 许可,商用需遵守许可条款。
  • · 不同推理框架的编译依赖和平台支持需按需配置,可能增加构建复杂度。
  • · 大模型(10B 以上)场景下主要作为可视化工作流工具,推理性能依赖底层框架。

主题标签

aiascenddeep-learningdeploymentdiffusersgenaillmlow-codelow-code-platformmnnno-codeonnxruntimeopenvinopythonpytorchtensorrttransformerworkflow