AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
让本地多个 AI 程序轮流占用 GPU,避免显存冲突崩溃。
Berth 是一个用 Go 编写的 GPU 租约管理工具。聊天、图像、语音等推理引擎通过它申请显卡,按优先级排队轮流使用,而不是同时加载导致显存不足崩溃。单个 Go 二进制,无需云账号,Linux 为主,Windows 实验性支持。
推荐指数
思路清晰、解决本地多引擎抢卡的真实痛点,但仍是 alpha 阶段,适合愿意折腾的自托管用户。
近 7 天
+8
新增 Star
总 Star 排名
#3798
雷达追踪的 3,958 个 AI 仓库中
创建于
2026
2026年10月12日
核心亮点
1轮流占用显卡
引擎通过 berth run 申请租约,前一个卸载并确认显存释放后才启动下一个。
2优先级排队
支持 hold、foreground、interactive、batch 四级,低优先级请求会等待并被告知占用者。
3任务边界交接
ComfyUI 会等当前图像任务完成再交接,避免中途打断。
4内存驻留切换
支持 offload 的引擎可把权重移到内存,下次从内存恢复,减少重载时间。
5单二进制部署
一个 Go 程序即可运行,无需额外依赖或云服务。
适用场景
本地多推理引擎共存
例如:同一张 24GB 显卡上交替运行 llama.cpp 聊天和 ComfyUI 出图。
游戏与 AI 共用显卡
例如:游戏运行时 AI 引擎排队等待,游戏退出后再加载模型。
容器化推理服务
例如:用 --container 把 Docker 中的 vLLM 纳入租约管理。
它是怎么工作的
第 1 步
申请租约
引擎通过 berth run、网关或 ComfyUI API 向 berthd 请求显卡。
第 2 步
按优先级排队
请求按 hold、foreground、interactive、batch 排序等待。
第 3 步
排空当前持有者
等当前引擎完成回复或任务后卸载,必要时先 offload 到内存。
第 4 步
确认显存释放
等待驱动报告显存已释放,再授予租约并启动下一个引擎。
快速上手
- 1
启动守护进程
运行一个管理所有显卡的 broker。
berth daemon & - 2
以租约方式运行引擎
让 llama-server 通过 berth 申请显卡。
berth run --as llama -- llama-server -m model.gguf - 3
查看占用状态
显示谁持有显卡、谁在等待及原因。
berth status
适合谁
- 在单机多卡或单卡上跑多个本地 AI 引擎的开发者
- 使用 ComfyUI、llama.cpp、Ollama、vLLM 的自托管用户
- 愿意接受 alpha 软件并阅读文档排查问题的人
不太适合
- 需要生产级稳定性的团队
- 只用单一引擎、不存在抢卡问题的用户
- 主要使用 Windows 且要求稳定运行的用户
成熟度
- 活跃度创建于 2026-10,最近一次推送在 2026-11,更新频繁。
- 文档README 详细,另有 install、gateway、harbor、roadmap 等文档。
- 社区约 298 star、31 fork,规模较小,仍处早期。
- 上手难度单二进制上手简单,但涉及租约、优先级、容器等概念,需要阅读文档。
同类项目怎么选
- llama-swap只在自己配置内切换模型,Berth 管理整张卡上的所有进程,两者可配合使用。
使用前注意
- · 项目处于 alpha(v0.6.1),接口和行为可能变化。
- · Linux 为主要平台,Windows 仅实验性支持。
- · 内存驻留和 cuda-checkpoint 依赖具体引擎与 NVIDIA 驱动能力。
- · 使用前需确认 Apache-2.0 许可符合你的分发场景。
