tensorflow GitHub avatar

serving

C++
TensorFlow 模型服务tensorflow最近推送 2026年11月18日
模型推理与部署Apache-2.06,3632,20281 issues

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

TensorFlow 官方模型服务系统,把训练好的模型部署成可调用的推理接口。

TensorFlow Serving 是面向生产环境的机器学习模型服务系统,专注推理环节:接收训练完成的模型,管理其生命周期,并通过高性能、带引用计数的查找表向客户端提供带版本的访问。它默认集成 TensorFlow 模型,也可扩展支持其他类型模型和数据。

推荐指数

4.0

TensorFlow 生态内做模型部署的成熟选择,Docker 上手快,但绑定 TensorFlow 较深。

总 Star 排名

#1033

雷达追踪的 3,958 个 AI 仓库中

创建于

2016

2016年1月27日

核心亮点

  • 1多模型多版本

    可同时服务多个模型或同一模型的多个版本。

  • 2双协议接口

    同时提供 gRPC 和 HTTP 推理端点。

  • 3热更新

    部署新模型版本无需改动客户端代码。

  • 4批处理调度

    把单条请求合并成批在 GPU 上执行,延迟可控。

  • 5可扩展

    支持嵌入、词表、特征变换及非 TensorFlow 模型。

适用场景

  • 线上模型推理服务

    例如:把训练好的 SavedModel 用 Docker 起服务,通过 REST 接口对外提供预测。

  • 灰度与 A/B 测试

    例如:同时加载新旧两个模型版本,按流量比例分流对比效果。

  • GPU 批量推理

    例如:开启批处理调度,把高并发小请求合并成批以提升 GPU 利用率。

它是怎么工作的

  1. 第 1 步

    导出模型

    从 TensorFlow 程序导出 SavedModel 格式。

  2. 第 2 步

    加载模型

    Serving 从指定路径加载模型并管理其版本生命周期。

  3. 第 3 步

    接收请求

    客户端通过 gRPC 或 HTTP 调用推理接口。

  4. 第 4 步

    调度执行

    批处理调度器按配置合并请求后执行推理并返回结果。

快速上手

  1. 1

    拉取镜像

    使用官方 Docker 镜像,推荐方式。

    docker pull tensorflow/serving
  2. 2

    克隆仓库

    获取仓库中的示例模型。

    git clone https://github.com/tensorflow/serving
  3. 3

    启动服务

    挂载示例模型并开放 REST 端口 8501。

    docker run -t --rm -p 8501:8501 -v "$TESTDATA/saved_model_half_plus_two_cpu:/models/half_plus_two" -e MODEL_NAME=half_plus_two tensorflow/serving &
  4. 4

    发起预测

    用 curl 调用 predict 接口验证。

    curl -d '{"instances": [1.0, 2.0, 5.0]}' -X POST http://localhost:8501/v1/models/half_plus_two:predict

适合谁

  • 使用 TensorFlow 训练模型并需要上线的团队
  • 需要多版本管理和灰度发布的场景
  • 希望用 Docker 快速搭推理服务的开发者

不太适合

  • 主要使用 PyTorch 等非 TensorFlow 框架的团队
  • 只需要本地跑一次推理、不涉及服务化的场景

成熟度

  • 活跃度仓库 2016 年创建,最近仍有推送,持续维护。
  • 文档README 覆盖安装、配置、API、性能与扩展文档。
  • 社区约 6.3k star、2.2k fork,开放 issue 仅 81 个。
  • 上手难度Docker 一条命令即可跑通示例,非 Docker 安装不推荐。

同类项目怎么选

  • NVIDIA Triton Inference Server支持多框架后端,不局限于 TensorFlow。
  • TorchServe面向 PyTorch 模型的官方服务工具。
  • KServe基于 Kubernetes 的模型服务平台,可对接多种运行时。

使用前注意

  • · 采用 Apache-2.0 许可,商用需遵守许可条款。
  • · 官方推荐 Docker 部署,非容器方式安装较麻烦。
  • · 与 TensorFlow 生态绑定较深,其他框架模型需额外适配。
  • · 生产环境需自行考虑模型版本管理、监控与资源规划。

主题标签

machine-learningdeep-learningdeep-neural-networkspythoncppneural-networkmlservingtensorflow