dusty-nv GitHub avatar

jetson-inference

C++
边缘深度学习推理工具dusty-nv最近推送 2025年10月17日
模型推理与部署MIT9,0343,119407 issues7 天 +1

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

在 NVIDIA Jetson 上使用 TensorRT 部署深度学习视觉推理的教程与代码库。

该项目是 NVIDIA Jetson 设备的深度学习推理和实时视觉指南,提供基于 TensorRT 的 C++/Python DNN 库,支持图像分类、目标检测、语义分割、姿态估计和动作识别等视觉原语。包含从摄像头流、WebRTC 网页应用到 ROS/ROS2 的示例,并附带 Hello AI World 教程,指导用户完成推理和迁移学习全流程。

推荐指数

4.0

Jetson 平台视觉推理的权威入门资源,教程完整、示例丰富,但强绑定 NVIDIA 硬件生态。

近 7 天

+1

新增 Star

总 Star 排名

#755

雷达追踪的 3,958 个 AI 仓库中

创建于

2016

2016年7月31日

核心亮点

  • 1多视觉任务支持

    内置 imageNet、detectNet、segNet、poseNet、actionNet 等网络,覆盖分类、检测、分割、姿态和动作识别。

  • 2TensorRT 加速

    使用 TensorRT 在 Jetson GPU 上运行优化后的网络,提供 C++ 和 Python API。

  • 3端到端教程

    Hello AI World 教程涵盖环境搭建、推理、数据收集、PyTorch 迁移训练和 TensorRT 部署。

  • 4实时视频与 Web

    提供摄像头流、WebRTC 网页应用和 Flask/REST 示例,方便构建实时视觉应用。

  • 5ROS/ROS2 支持

    附带 ROS/ROS2 的 DNN 推理节点,便于机器人项目集成。

适用场景

  • 嵌入式视觉原型开发

    例如:在 Jetson Nano 上使用预训练模型对摄像头画面进行实时目标检测。

  • 自定义模型训练与部署

    例如:收集自己的猫狗图片数据集,用 PyTorch 迁移学习训练 ResNet-18,再通过 TensorRT 部署推理。

  • 机器人视觉感知

    例如:通过 ROS/ROS2 节点将分割或检测结果接入机器人导航或抓取流程。

  • 网页端实时视觉演示

    例如:使用 WebRTC 服务器将 Jetson 上的摄像头识别结果推送到浏览器展示。

它是怎么工作的

  1. 第 1 步

    环境准备

    在 Jetson 设备上安装 JetPack,或使用提供的 Docker 容器,也可从源码构建项目。

  2. 第 2 步

    加载模型

    使用内置的预训练模型或自行训练的模型,通过 TensorRT 进行优化加载。

  3. 第 3 步

    运行推理

    调用 C++ 或 Python API,对图像、视频流或摄像头画面执行分类、检测、分割等任务。

  4. 第 4 步

    训练自定义模型

    使用 PyTorch 进行迁移学习,收集数据集并微调模型,然后导出部署。

  5. 第 5 步

    集成应用

    通过 WebRTC、Flask 或 ROS/ROS2 节点将推理结果接入实际应用。

快速上手

  1. 1

    设置 Jetson 环境

    按照文档安装 JetPack 或准备 Docker 环境。

  2. 2

    构建项目

    从源码构建或直接使用 Docker 镜像。

  3. 3

    运行图像分类示例

    使用 imagenet 程序对示例图片进行分类。

  4. 4

    运行摄像头检测演示

    启动 detectnet 摄像头实时检测示例。

适合谁

  • 拥有 NVIDIA Jetson 设备的嵌入式 AI 开发者
  • 需要快速验证视觉推理原型的工程师
  • 学习 TensorRT 部署和迁移学习的学生或爱好者
  • 机器人开发者需要 ROS/ROS2 视觉集成

不太适合

  • 没有 NVIDIA Jetson 硬件的开发者
  • 需要跨平台通用推理框架的用户
  • 仅使用云端 GPU 或非嵌入式环境的团队

成熟度

  • 活跃度最近一次推送在 2025 年 10 月,持续维护,但 issue 数量较多(407 个开放)。
  • 文档README 和配套文档非常详尽,包含完整教程、API 参考和视频讲解。
  • 社区Star 数超过 9000,Fork 数超过 3000,社区活跃度较高。
  • 上手难度需要 Jetson 硬件和 JetPack 环境,对新手有一定门槛,但教程降低了上手难度。

同类项目怎么选

  • NVIDIA DeepStream SDKDeepStream 是更完整的视频分析 SDK,侧重流处理管道,而本项目更偏向教学和视觉原语示例。
  • TensorRTTensorRT 是底层推理优化库,本项目是基于它的高层封装和教程。
  • OpenCV DNNOpenCV DNN 跨平台支持多种推理后端,但不在 Jetson 上做 TensorRT 深度优化。

使用前注意

  • · 仅支持 NVIDIA Jetson 系列设备,不适用于其他硬件平台。
  • · 需要安装 JetPack 和 TensorRT,环境配置可能较复杂。
  • · 部分高级功能(如 LLM、VLM)需参考 Jetson AI Lab 的额外教程。
  • · 开源许可为 MIT,但使用预训练模型时需注意各自模型的许可条款。

主题标签

deep-learninginferencecomputer-visionembeddedimage-recognitionobject-detectionsegmentationjetsonjetson-tx1jetson-tx2jetson-xaviernvidiatensorrtdigitscaffevideo-analyticsroboticsmachine-learningjetson-nanojetson-xavier-nx