T-Crypt GitHub avatar

berth

Go
GPU资源调度器T-Crypt最近推送 2026年11月17日
模型推理与部署Apache-2.03003010 issues7 天 +8

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

让本地多个 AI 程序轮流占用 GPU,避免显存冲突崩溃。

Berth 是一个用 Go 编写的 GPU 租约管理工具。聊天、图像、语音等推理引擎通过它申请显卡,按优先级排队轮流使用,而不是同时加载导致显存不足崩溃。单个 Go 二进制,无需云账号,Linux 为主,Windows 实验性支持。

推荐指数

4.0

思路清晰、解决本地多引擎抢卡的真实痛点,但仍是 alpha 阶段,适合愿意折腾的自托管用户。

近 7 天

+8

新增 Star

总 Star 排名

#3798

雷达追踪的 3,958 个 AI 仓库中

创建于

2026

2026年10月12日

核心亮点

  • 1轮流占用显卡

    引擎通过 berth run 申请租约,前一个卸载并确认显存释放后才启动下一个。

  • 2优先级排队

    支持 hold、foreground、interactive、batch 四级,低优先级请求会等待并被告知占用者。

  • 3任务边界交接

    ComfyUI 会等当前图像任务完成再交接,避免中途打断。

  • 4内存驻留切换

    支持 offload 的引擎可把权重移到内存,下次从内存恢复,减少重载时间。

  • 5单二进制部署

    一个 Go 程序即可运行,无需额外依赖或云服务。

适用场景

  • 本地多推理引擎共存

    例如:同一张 24GB 显卡上交替运行 llama.cpp 聊天和 ComfyUI 出图。

  • 游戏与 AI 共用显卡

    例如:游戏运行时 AI 引擎排队等待,游戏退出后再加载模型。

  • 容器化推理服务

    例如:用 --container 把 Docker 中的 vLLM 纳入租约管理。

它是怎么工作的

  1. 第 1 步

    申请租约

    引擎通过 berth run、网关或 ComfyUI API 向 berthd 请求显卡。

  2. 第 2 步

    按优先级排队

    请求按 hold、foreground、interactive、batch 排序等待。

  3. 第 3 步

    排空当前持有者

    等当前引擎完成回复或任务后卸载,必要时先 offload 到内存。

  4. 第 4 步

    确认显存释放

    等待驱动报告显存已释放,再授予租约并启动下一个引擎。

快速上手

  1. 1

    启动守护进程

    运行一个管理所有显卡的 broker。

    berth daemon &
  2. 2

    以租约方式运行引擎

    让 llama-server 通过 berth 申请显卡。

    berth run --as llama -- llama-server -m model.gguf
  3. 3

    查看占用状态

    显示谁持有显卡、谁在等待及原因。

    berth status

适合谁

  • 在单机多卡或单卡上跑多个本地 AI 引擎的开发者
  • 使用 ComfyUI、llama.cpp、Ollama、vLLM 的自托管用户
  • 愿意接受 alpha 软件并阅读文档排查问题的人

不太适合

  • 需要生产级稳定性的团队
  • 只用单一引擎、不存在抢卡问题的用户
  • 主要使用 Windows 且要求稳定运行的用户

成熟度

  • 活跃度创建于 2026-10,最近一次推送在 2026-11,更新频繁。
  • 文档README 详细,另有 install、gateway、harbor、roadmap 等文档。
  • 社区约 298 star、31 fork,规模较小,仍处早期。
  • 上手难度单二进制上手简单,但涉及租约、优先级、容器等概念,需要阅读文档。

同类项目怎么选

  • llama-swap只在自己配置内切换模型,Berth 管理整张卡上的所有进程,两者可配合使用。

使用前注意

  • · 项目处于 alpha(v0.6.1),接口和行为可能变化。
  • · Linux 为主要平台,Windows 仅实验性支持。
  • · 内存驻留和 cuda-checkpoint 依赖具体引擎与 NVIDIA 驱动能力。
  • · 使用前需确认 Apache-2.0 许可符合你的分发场景。

主题标签

comfyuigolanggpuinferencellama-cppllama-swapllmlocal-ainvidiaollamaself-hostedvllmvram