AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日
NVIDIA GPU 上的高性能深度学习推理 SDK,本仓库是其开源组件。
TensorRT 是 NVIDIA 推出的深度学习推理 SDK,用于在 NVIDIA GPU 上加速模型部署。这个 GitHub 仓库只包含 TensorRT 的开源部分:插件(plugins)、ONNX 解析器(ONNX parser)以及示例程序,是完整 GA 发行版的一个子集,并带有一些扩展和修复。
推荐指数
做 NVIDIA GPU 推理部署的开发者值得关注,但需注意本仓库只是 SDK 的开源组件,核心库仍需从 NVIDIA 官方渠道获取。
近 7 天
+20
新增 Star
总 Star 排名
#537
雷达追踪的 3,971 个 AI 仓库中
创建于
2019
2019年5月3日
核心亮点
1GPU 推理加速
面向 NVIDIA GPU 的高性能深度学习推理,是官方 SDK。
2ONNX 解析器开源
仓库包含 ONNX parser 源码,可把 ONNX 模型导入 TensorRT。
3插件与示例
提供 TensorRT 插件源码和演示平台用法的示例应用。
4Python 包易装
提供预编译 Python 包,pip install tensorrt 即可使用。
511.x 新版本
已发布 11.x,API 精简,移除弱类型网络、隐式量化等旧特性。
适用场景
模型推理部署
例如:把训练好的 ONNX 模型通过 ONNX parser 导入 TensorRT,在 NVIDIA GPU 上加速推理。
自定义算子
例如:用仓库中的插件源码为模型中的特殊层编写 TensorRT 插件。
学习与验证
例如:运行仓库自带示例程序,了解 TensorRT 平台的能力和调用方式。
它是怎么工作的
第 1 步
准备环境
安装 CUDA、cuDNN、CMake 等依赖,并获取 TensorRT GA 发行版。
第 2 步
获取源码
克隆本仓库并初始化子模块,得到插件、ONNX parser 和示例代码。
第 3 步
构建组件
按 README 用 CMake 构建开源组件,或直接用 pip 安装 Python 包。
第 4 步
导入模型
通过 ONNX、Torch-TensorRT、HuggingFace/Optimum 或网络定义 API 导入模型。
第 5 步
生成并运行引擎
构建 TensorRT 引擎,在 NVIDIA GPU 上执行推理。
快速上手
- 1
安装 Python 包
最简单的方式,跳过源码构建直接使用 TensorRT。
pip install tensorrt - 2
克隆仓库
获取开源组件源码并拉取子模块。
git clone -b main https://github.com/nvidia/TensorRT TensorRT && cd TensorRT && git submodule update --init --recursive - 3
准备 GA 构建
非容器环境下需从 NVIDIA Developer Zone 下载并解压 TensorRT GA 发行版,并指定其路径。
- 4
构建
按 README 的 Build 章节用 CMake 构建开源组件。
适合谁
- 需要在 NVIDIA GPU 上部署推理的开发者
- 使用 ONNX 模型并想加速的工程师
- 需要编写 TensorRT 自定义插件的开发者
不太适合
- 没有 NVIDIA GPU 的用户
- 只想用纯开源方案、不愿依赖官方 SDK 的团队
成熟度
- 活跃度最近一次推送在 2026 年 11 月,且已发布 11.x 大版本。
- 文档README 提供构建步骤和官方文档链接,并有导入流程与支持模型文档。
- 社区约 1.3 万 star、2400 多 fork,社区规模较大。
- 上手难度源码构建依赖 CUDA、CMake 等,步骤较多;但提供 pip 包降低门槛。
同类项目怎么选
- ONNX Runtime跨平台推理引擎,支持多种硬件后端,不限于 NVIDIA GPU。
- OpenVINOIntel 推出的推理工具套件,主要面向 Intel 硬件。
- TVM开源深度学习编译器,支持多种后端,可自动生成优化代码。
使用前注意
- · 本仓库只是 TensorRT 的开源组件子集,核心库需从 NVIDIA 官方渠道下载。
- · 构建依赖 CUDA、cuDNN、CMake 等,环境配置成本较高。
- · 11.x 移除了弱类型网络、隐式量化、IPluginV2 等旧 API,升级需迁移。
- · 仅支持 NVIDIA GPU,且部分功能可能需要 NVIDIA AI Enterprise 企业支持。
