AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
TensorFlow 官方模型服务系统,把训练好的模型部署成可调用的推理接口。
TensorFlow Serving 是面向生产环境的机器学习模型服务系统,专注推理环节:接收训练完成的模型,管理其生命周期,并通过高性能、带引用计数的查找表向客户端提供带版本的访问。它默认集成 TensorFlow 模型,也可扩展支持其他类型模型和数据。
推荐指数
TensorFlow 生态内做模型部署的成熟选择,Docker 上手快,但绑定 TensorFlow 较深。
总 Star 排名
#1033
雷达追踪的 3,958 个 AI 仓库中
创建于
2016
2016年1月27日
核心亮点
1多模型多版本
可同时服务多个模型或同一模型的多个版本。
2双协议接口
同时提供 gRPC 和 HTTP 推理端点。
3热更新
部署新模型版本无需改动客户端代码。
4批处理调度
把单条请求合并成批在 GPU 上执行,延迟可控。
5可扩展
支持嵌入、词表、特征变换及非 TensorFlow 模型。
适用场景
线上模型推理服务
例如:把训练好的 SavedModel 用 Docker 起服务,通过 REST 接口对外提供预测。
灰度与 A/B 测试
例如:同时加载新旧两个模型版本,按流量比例分流对比效果。
GPU 批量推理
例如:开启批处理调度,把高并发小请求合并成批以提升 GPU 利用率。
它是怎么工作的
第 1 步
导出模型
从 TensorFlow 程序导出 SavedModel 格式。
第 2 步
加载模型
Serving 从指定路径加载模型并管理其版本生命周期。
第 3 步
接收请求
客户端通过 gRPC 或 HTTP 调用推理接口。
第 4 步
调度执行
批处理调度器按配置合并请求后执行推理并返回结果。
快速上手
- 1
拉取镜像
使用官方 Docker 镜像,推荐方式。
docker pull tensorflow/serving - 2
克隆仓库
获取仓库中的示例模型。
git clone https://github.com/tensorflow/serving - 3
启动服务
挂载示例模型并开放 REST 端口 8501。
docker run -t --rm -p 8501:8501 -v "$TESTDATA/saved_model_half_plus_two_cpu:/models/half_plus_two" -e MODEL_NAME=half_plus_two tensorflow/serving & - 4
发起预测
用 curl 调用 predict 接口验证。
curl -d '{"instances": [1.0, 2.0, 5.0]}' -X POST http://localhost:8501/v1/models/half_plus_two:predict
适合谁
- 使用 TensorFlow 训练模型并需要上线的团队
- 需要多版本管理和灰度发布的场景
- 希望用 Docker 快速搭推理服务的开发者
不太适合
- 主要使用 PyTorch 等非 TensorFlow 框架的团队
- 只需要本地跑一次推理、不涉及服务化的场景
成熟度
- 活跃度仓库 2016 年创建,最近仍有推送,持续维护。
- 文档README 覆盖安装、配置、API、性能与扩展文档。
- 社区约 6.3k star、2.2k fork,开放 issue 仅 81 个。
- 上手难度Docker 一条命令即可跑通示例,非 Docker 安装不推荐。
同类项目怎么选
- NVIDIA Triton Inference Server支持多框架后端,不局限于 TensorFlow。
- TorchServe面向 PyTorch 模型的官方服务工具。
- KServe基于 Kubernetes 的模型服务平台,可对接多种运行时。
使用前注意
- · 采用 Apache-2.0 许可,商用需遵守许可条款。
- · 官方推荐 Docker 部署,非容器方式安装较麻烦。
- · 与 TensorFlow 生态绑定较深,其他框架模型需额外适配。
- · 生产环境需自行考虑模型版本管理、监控与资源规划。
