basetenlabs GitHub avatar

truss

Python
模型生产部署工具basetenlabs最近推送 2026年11月19日
模型推理与部署MIT1,23714397 issues7 天 +4

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

Truss 是一个命令行工具,用于将机器学习模型打包并部署到 Baseten 平台,简化生产环境服务流程。

Truss 是 Baseten 提供的 CLI,用于在 Baseten 上部署和提供 ML 模型服务。它让你用 Python 编写模型服务逻辑,并处理容器化、依赖管理和 GPU 配置,支持 vLLM、SGLang、TensorRT-LLM、transformers、diffusers、PyTorch、TensorFlow 等框架。

推荐指数

4.0

适合需要快速将模型部署到 Baseten 的开发者,但依赖 Baseten 平台。

近 7 天

+4

新增 Star

总 Star 排名

#3081

雷达追踪的 3,958 个 AI 仓库中

创建于

2022

2022年7月6日

核心亮点

  • 1一次编写到处运行

    模型代码、权重和依赖打包后,开发与生产环境行为一致。

  • 2快速开发循环

    支持实时重载,无需手动配置 Docker 或 Kubernetes。

  • 3多框架支持

    覆盖 transformers、diffusers、PyTorch、TensorFlow、vLLM、SGLang、TensorRT-LLM 等。

  • 4生产就绪

    部署到 Baseten 或自有基础设施时,内置 GPU、密钥、缓存和自动扩缩容支持。

适用场景

  • 快速部署 Hugging Face 模型

    例如:通过 config.yaml 指定 Qwen 2.5 3B Instruct,运行 truss push 后获得 OpenAI 兼容 API。

  • 自定义 Python 模型服务

    例如:在 model/ 目录编写预处理和后处理逻辑,打包部署为推理服务。

  • 多框架模型上线

    例如:使用 vLLM 或 TensorRT-LLM 引擎部署大语言模型,无需管理容器。

它是怎么工作的

  1. 第 1 步

    初始化项目

    运行 truss init 生成 config.yaml 和 model/ 目录。

  2. 第 2 步

    编写配置

    在 config.yaml 中指定模型、硬件和推理引擎。

  3. 第 3 步

    推送部署

    运行 truss push,Truss 处理容器化、依赖和 GPU 配置并部署到 Baseten。

  4. 第 4 步

    调用 API

    部署完成后通过 OpenAI 兼容端点或 cURL 调用模型。

快速上手

  1. 1

    安装 Truss

    使用 pip 安装最新版 Truss。

    pip install --upgrade truss
  2. 2

    登录 Baseten

    通过浏览器或 API key 认证。

    uvx truss login
  3. 3

    初始化项目

    创建名为 qwen-2.5-3b 的项目目录。

    uvx truss init qwen-2.5-3b && cd qwen-2.5-3b
  4. 4

    部署模型

    推送模型到 Baseten,自动构建并部署。

    uvx truss push

适合谁

  • 需要快速将模型部署为 API 的开发者
  • 使用 Baseten 平台的团队
  • 希望避免手动管理 Docker 和 Kubernetes 的工程师

不太适合

  • 不想依赖 Baseten 平台的用户
  • 需要完全离线或自托管且无 Baseten 账户的团队

成熟度

  • 活跃度最近一次推送在 2026 年 11 月,持续维护。
  • 文档README 提供完整快速入门和配置示例,并有外部文档链接。
  • 社区约 1200 星、143 分支,99 个开放 issue,社区规模中等。
  • 上手难度通过 config.yaml 和 CLI 简化部署,但需要 Baseten 账户。

同类项目怎么选

  • BentoMLBentoML 是更通用的模型服务框架,不绑定特定云平台,但需要更多配置。
  • Ray ServeRay Serve 基于 Ray 生态,适合复杂分布式推理,学习曲线较陡。
  • MLflowMLflow 侧重实验跟踪和模型管理,部署功能相对基础。

使用前注意

  • · 部署依赖 Baseten 平台,需要注册账户并获取 API key。
  • · 部分功能(如自动扩缩容)仅在 Baseten 上可用。
  • · 使用 GPU 资源可能产生费用,需参考 Baseten 定价。
  • · MIT 许可证,可自由使用和修改。

主题标签

machine-learningartificial-intelligenceeasy-to-useinference-apiinference-servermodel-servingopen-sourcepackagingfalconstable-diffusionwhisperwizardlm