NVIDIA GitHub avatar

TensorRT

C++
TensorRT 推理加速 SDKNVIDIA最近推送 2026年11月19日
模型推理与部署Apache-2.013.5k2,428714 issues7 天 +20

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

NVIDIA GPU 上的高性能深度学习推理 SDK,本仓库是其开源组件。

TensorRT 是 NVIDIA 推出的深度学习推理 SDK,用于在 NVIDIA GPU 上加速模型部署。这个 GitHub 仓库只包含 TensorRT 的开源部分:插件(plugins)、ONNX 解析器(ONNX parser)以及示例程序,是完整 GA 发行版的一个子集,并带有一些扩展和修复。

推荐指数

4.0

做 NVIDIA GPU 推理部署的开发者值得关注,但需注意本仓库只是 SDK 的开源组件,核心库仍需从 NVIDIA 官方渠道获取。

近 7 天

+20

新增 Star

总 Star 排名

#537

雷达追踪的 3,971 个 AI 仓库中

创建于

2019

2019年5月3日

核心亮点

  • 1GPU 推理加速

    面向 NVIDIA GPU 的高性能深度学习推理,是官方 SDK。

  • 2ONNX 解析器开源

    仓库包含 ONNX parser 源码,可把 ONNX 模型导入 TensorRT。

  • 3插件与示例

    提供 TensorRT 插件源码和演示平台用法的示例应用。

  • 4Python 包易装

    提供预编译 Python 包,pip install tensorrt 即可使用。

  • 511.x 新版本

    已发布 11.x,API 精简,移除弱类型网络、隐式量化等旧特性。

适用场景

  • 模型推理部署

    例如:把训练好的 ONNX 模型通过 ONNX parser 导入 TensorRT,在 NVIDIA GPU 上加速推理。

  • 自定义算子

    例如:用仓库中的插件源码为模型中的特殊层编写 TensorRT 插件。

  • 学习与验证

    例如:运行仓库自带示例程序,了解 TensorRT 平台的能力和调用方式。

它是怎么工作的

  1. 第 1 步

    准备环境

    安装 CUDA、cuDNN、CMake 等依赖,并获取 TensorRT GA 发行版。

  2. 第 2 步

    获取源码

    克隆本仓库并初始化子模块,得到插件、ONNX parser 和示例代码。

  3. 第 3 步

    构建组件

    按 README 用 CMake 构建开源组件,或直接用 pip 安装 Python 包。

  4. 第 4 步

    导入模型

    通过 ONNX、Torch-TensorRT、HuggingFace/Optimum 或网络定义 API 导入模型。

  5. 第 5 步

    生成并运行引擎

    构建 TensorRT 引擎,在 NVIDIA GPU 上执行推理。

快速上手

  1. 1

    安装 Python 包

    最简单的方式,跳过源码构建直接使用 TensorRT。

    pip install tensorrt
  2. 2

    克隆仓库

    获取开源组件源码并拉取子模块。

    git clone -b main https://github.com/nvidia/TensorRT TensorRT && cd TensorRT && git submodule update --init --recursive
  3. 3

    准备 GA 构建

    非容器环境下需从 NVIDIA Developer Zone 下载并解压 TensorRT GA 发行版,并指定其路径。

  4. 4

    构建

    按 README 的 Build 章节用 CMake 构建开源组件。

适合谁

  • 需要在 NVIDIA GPU 上部署推理的开发者
  • 使用 ONNX 模型并想加速的工程师
  • 需要编写 TensorRT 自定义插件的开发者

不太适合

  • 没有 NVIDIA GPU 的用户
  • 只想用纯开源方案、不愿依赖官方 SDK 的团队

成熟度

  • 活跃度最近一次推送在 2026 年 11 月,且已发布 11.x 大版本。
  • 文档README 提供构建步骤和官方文档链接,并有导入流程与支持模型文档。
  • 社区约 1.3 万 star、2400 多 fork,社区规模较大。
  • 上手难度源码构建依赖 CUDA、CMake 等,步骤较多;但提供 pip 包降低门槛。

同类项目怎么选

  • ONNX Runtime跨平台推理引擎,支持多种硬件后端,不限于 NVIDIA GPU。
  • OpenVINOIntel 推出的推理工具套件,主要面向 Intel 硬件。
  • TVM开源深度学习编译器,支持多种后端,可自动生成优化代码。

使用前注意

  • · 本仓库只是 TensorRT 的开源组件子集,核心库需从 NVIDIA 官方渠道下载。
  • · 构建依赖 CUDA、cuDNN、CMake 等,环境配置成本较高。
  • · 11.x 移除了弱类型网络、隐式量化、IPluginV2 等旧 API,升级需迁移。
  • · 仅支持 NVIDIA GPU,且部分功能可能需要 NVIDIA AI Enterprise 企业支持。

主题标签

tensorrtnvidiadeep-learninginferencegpu-acceleration