bentoml GitHub avatar

BentoML

Python
模型服务部署平台bentoml最近推送 2026年11月17日
模型推理与部署Apache-2.08,9431,065280 issues7 天 +2

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

把任意 AI 模型推理脚本变成 REST API 服务的 Python 框架。

BentoML 是一个 Python 库,用于构建面向 AI 应用和模型推理的在线服务系统。它能把模型推理脚本快速封装成 REST API,并通过配置文件管理依赖和模型版本,自动生成 Docker 镜像,支持本地调试和 Kubernetes 部署。

推荐指数

4.0

适合需要将模型快速服务化并部署到生产的团队,功能完整、文档丰富,但有一定学习成本。

近 7 天

+2

新增 Star

总 Star 排名

#764

雷达追踪的 3,958 个 AI 仓库中

创建于

2019

2019年4月2日

核心亮点

  • 1快速生成 API

    用几行代码和 Python 类型注解即可把推理脚本变成 REST API 服务。

  • 2依赖与镜像管理

    通过配置文件管理环境和依赖,自动生成可复现的 Docker 镜像。

  • 3推理性能优化

    内置动态批处理、模型并行、多阶段流水线等优化手段,提升 CPU/GPU 利用率。

  • 4高度可定制

    支持自定义 API、任务队列、多模型组合,兼容任意 ML 框架和推理运行时。

  • 5生产就绪

    本地开发调试后,可直接用 Docker 或 Kubernetes 部署到生产环境。

适用场景

  • 模型推理 API 服务

    例如:将 Hugging Face 的摘要模型封装成 HTTP 接口,供前端调用。

  • 多模型流水线

    例如:组合图像生成模型和文本模型,构建多阶段推理服务。

  • LLM 应用部署

    例如:部署 Llama 或 Mistral 等大语言模型,提供流式推理接口。

  • 任务队列处理

    例如:为耗时推理任务构建异步队列,避免请求阻塞。

它是怎么工作的

  1. 第 1 步

    定义服务

    在 Python 文件中用 @bentoml.service 装饰类,用 @bentoml.api 装饰方法。

  2. 第 2 步

    本地运行

    执行 bentoml serve 启动本地 HTTP 服务,默认监听 3000 端口。

  3. 第 3 步

    构建制品

    运行 bentoml build 将代码、模型和依赖打包成标准化的 Bento 制品。

  4. 第 4 步

    容器化部署

    用 bentoml containerize 生成 Docker 镜像,再通过 Docker 或 Kubernetes 运行。

快速上手

  1. 1

    安装

    需要 Python 3.9 及以上版本。

    pip install -U bentoml
  2. 2

    编写服务

    创建 service.py,定义服务类和 API 方法。

  3. 3

    本地运行

    启动本地服务,默认地址 http://localhost:3000。

    bentoml serve
  4. 4

    构建并容器化

    打包成 Bento 制品并生成 Docker 镜像。

    bentoml build && bentoml containerize summarization:latest

适合谁

  • 需要将模型快速封装为 API 的机器学习工程师
  • 希望统一管理模型依赖和部署的 MLOps 团队
  • 需要部署 LLM 或多模型流水线的应用开发者

不太适合

  • 只需要本地脚本推理、不涉及服务化的个人研究者
  • 对 Python 不熟悉、希望用其他语言构建服务的开发者

成熟度

  • 活跃度最近一次推送在 2026 年 11 月,持续活跃开发。
  • 文档README 提供完整入门示例和进阶主题链接,官方文档站点内容详尽。
  • 社区近 9000 star、1000 多 fork,有社区论坛,但开放 issue 数较多(278)。
  • 上手难度几行代码即可启动服务,但生产部署和高级功能需要一定学习成本。

同类项目怎么选

  • FastAPI通用 Web 框架,需自行处理模型加载、依赖打包和部署优化。
  • TorchServe主要面向 PyTorch 模型,BentoML 支持任意框架和更灵活的自定义逻辑。
  • KServe基于 Kubernetes 的模型服务网格,BentoML 更轻量且支持本地开发调试。

使用前注意

  • · 采用 Apache-2.0 许可,商用友好,需保留版权声明。
  • · 需要 Python 3.9 及以上环境,部分功能依赖 Docker 和 Kubernetes。
  • · 高级特性如分布式服务、GPU 推理需要额外配置和资源。
  • · 生产部署前建议评估模型加载和批处理参数对延迟的影响。

主题标签

model-servingmlopsllmopsgenerative-aillm-inferencemodel-inference-serviceinference-platformdeep-learningllm-servingmachine-learningpythonmultimodalml-engineeringllmai-inference