triton-inference-server GitHub avatar

server

Python
Triton 推理服务triton-inference-server最近推送 2026年11月19日
模型推理与部署BSD-3-Clause11.2k1,874902 issues7 天 +18

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

NVIDIA 开源的推理服务软件,统一部署多框架 AI 模型。

Triton Inference Server 是 NVIDIA 开源的推理服务软件,用于简化 AI 推理部署。它支持 TensorRT、PyTorch、ONNX、OpenVINO、Python 等多种深度学习与机器学习框架,可在 NVIDIA GPU、x86/ARM CPU 或 AWS Inferentia 上运行,覆盖云、数据中心、边缘和嵌入式设备。

推荐指数

5.0

功能全面、生态成熟的生产级推理服务器,适合需要多框架统一部署的团队。

近 7 天

+18

新增 Star

总 Star 排名

#623

雷达追踪的 3,958 个 AI 仓库中

创建于

2018

2018年10月5日

核心亮点

  • 1多框架支持

    可部署 TensorRT、PyTorch、ONNX、OpenVINO、Python 等模型。

  • 2动态批处理

    自动合并请求提升吞吐,支持序列批处理与有状态模型。

  • 3模型集成

    通过 Ensemble 或 BLS 脚本构建多模型流水线。

  • 4标准协议

    提供基于 KServe 的 HTTP/REST 和 gRPC 推理接口。

  • 5可观测性

    内置 GPU 利用率、吞吐、延迟等监控指标。

适用场景

  • 云端模型服务

    例如:在 Kubernetes 集群中部署 ResNet 图像分类服务,通过 HTTP 接口对外提供推理。

  • 边缘设备推理

    例如:在 ARM 边缘设备上使用 C API 将 Triton 链接进应用,实现低延迟本地推理。

  • 多模型流水线

    例如:用 Ensemble 将预处理、BERT 推理和后处理组合成一个端到端服务。

它是怎么工作的

  1. 第 1 步

    准备模型仓库

    按目录结构存放模型文件与配置文件,指定后端和输入输出。

  2. 第 2 步

    启动服务

    通过 Docker 容器或本地二进制启动 tritonserver,加载模型仓库。

  3. 第 3 步

    发送请求

    客户端通过 HTTP/REST 或 gRPC 协议发送推理请求。

  4. 第 4 步

    调度执行

    服务端根据动态批处理策略调度模型在 GPU/CPU 上执行。

  5. 第 5 步

    返回结果

    推理结果按协议返回给客户端,同时暴露监控指标。

快速上手

  1. 1

    获取示例模型

    克隆仓库并运行脚本下载示例模型。

    git clone -b r26.10 https://github.com/triton-inference-server/server.git && cd server/docs/examples && ./fetch_models.sh
  2. 2

    启动 Triton 容器

    使用 NGC 容器加载模型仓库并启动服务。

    docker run --gpus=1 --rm --net=host -v ${PWD}/model_repository:/models nvcr.io/nvidia/tritonserver:26.10-py3 tritonserver --model-repository=/models --model-control-mode explicit --load-model densenet_onnx
  3. 3

    发送推理请求

    在另一个终端运行 SDK 容器中的示例客户端。

    docker run -it --rm --net=host nvcr.io/nvidia/tritonserver:26.10-py3-sdk /workspace/install/bin/image_client -m densenet_onnx -c 3 -s INCEPTION /workspace/images/mug.jpg

适合谁

  • 需要统一部署多种框架模型的生产团队
  • 使用 NVIDIA GPU 进行推理加速的开发者
  • 需要在云、边缘或嵌入式设备上部署推理服务的工程师

不太适合

  • 仅需简单单模型本地推理、不想引入容器和配置的初学者
  • 完全不用 NVIDIA 硬件且无 AWS Inferentia 的团队

成熟度

  • 活跃度最近推送在 2026 年 11 月,持续活跃开发。
  • 文档README 提供快速入门、教程链接和详细文档目录。
  • 社区1.1 万星、1800+ fork,但开放 issue 较多(907)。
  • 上手难度需理解模型仓库、容器和协议配置,有一定上手门槛。

同类项目怎么选

  • TorchServe主要面向 PyTorch 模型,Triton 支持更多框架和硬件后端。
  • KServeKubernetes 原生模型服务框架,Triton 可作为其运行时,但 Triton 本身不绑定 K8s。
  • OpenVINO Model Server侧重 Intel 硬件与 OpenVINO 模型,Triton 覆盖更广的框架和 GPU 生态。

使用前注意

  • · 主要优化面向 NVIDIA GPU,CPU 或其他加速器支持有限。
  • · 生产使用通常依赖 NGC 容器和 NVIDIA AI Enterprise 支持。
  • · 模型仓库配置和批处理调优需要一定学习成本。
  • · BSD-3-Clause 许可,可商用,但需保留版权声明。

主题标签

inferencegpumachine-learningdeep-learningclouddatacenteredge