AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日
一个 Go 写的代理,按需在本地多个 AI 模型间热切换,统一 OpenAI/Anthropic 接口。
llama-swap 是一个用 Go 编写的本地 AI 模型代理服务,为 llama.cpp、vLLM 等兼容 OpenAI/Anthropic API 的推理服务器提供按需模型切换能力。它只有一个二进制文件和一个配置文件,无外部依赖,让开发者用统一 API 访问多个本地模型。
推荐指数
本地多模型管理的实用工具,部署简单、兼容面广,适合需要频繁切换模型的开发者。
近 7 天
+38
新增 Star
总 Star 排名
#1056
雷达追踪的 3,958 个 AI 仓库中
创建于
2024
2024年10月4日
核心亮点
1按需热切换
请求哪个模型就启动哪个,闲置模型可自动卸载,节省显存。
2统一 API 入口
兼容 OpenAI 和 Anthropic 接口,客户端无需改代码即可切换后端。
3零依赖单文件
一个二进制加一个配置文件即可运行,支持 Docker、Homebrew 等多种安装方式。
4多后端支持
可对接 llama.cpp、vLLM、stable-diffusion.cpp、ComfyUI、audio.cpp 等服务器。
5自带 Web UI
提供实时界面,可测试模型、查看日志、手动加载卸载模型。
适用场景
本地多模型开发调试
例如:在同一个客户端里切换对话模型和嵌入模型,无需手动重启推理服务。
显存有限的单机部署
例如:配置 ttl 让模型闲置后自动卸载,按请求加载所需模型,避免同时占用显存。
统一接入多种推理后端
例如:用 OpenAI 兼容客户端同时调用 llama.cpp 的对话模型和 stable-diffusion.cpp 的图片生成。
团队共享本地模型服务
例如:通过 API Key 限制访问,用 Web UI 查看运行状态和日志。
它是怎么工作的
第 1 步
编写配置
在配置文件中定义每个模型的启动命令、端口和参数。
第 2 步
启动代理
运行 llama-swap,它监听统一端口并暴露 OpenAI/Anthropic 兼容接口。
第 3 步
按需拉起
收到请求时检查目标模型是否运行,未运行则启动对应推理服务器。
第 4 步
转发与回收
将请求转发给上游服务器,并按 ttl 或手动指令卸载闲置模型。
快速上手
- 1
选择安装方式
可用 Docker、Homebrew、WinGet 或直接下载 release 二进制。
- 2
编写配置文件
按 README 示例定义模型 ID、启动命令和端口。
- 3
启动服务
运行 llama-swap 并指定配置文件,默认提供 Web UI 和 API。
- 4
客户端接入
把 OpenAI/Anthropic 客户端的 base URL 指向 llama-swap 地址即可。
适合谁
- 在本地运行多个 AI 模型的开发者
- 需要统一 API 接入多种推理后端的团队
- 显存有限、需要按需加载模型的用户
不太适合
- 只需要单一模型、不涉及切换的场景
- 不想维护本地推理服务的纯云端用户
成熟度
- 活跃度最近一次推送在 2026 年 11 月,持续活跃开发。
- 文档README 详细列出接口和配置项,并有在线文档和聊天助手。
- 社区6.2k star、547 fork,116 个开放 issue,有一定用户基础。
- 上手难度单二进制加配置文件,提供多种安装方式和 Web UI,上手门槛低。
同类项目怎么选
- OllamaOllama 自带模型管理和推理,llama-swap 不绑定推理引擎,只做代理和切换。
- LiteLLMLiteLLM 侧重多提供商 API 网关和路由,llama-swap 专注本地模型进程的按需启停。
使用前注意
- · 需要自行准备并配置底层推理服务器(如 llama.cpp、vLLM)。
- · 模型切换依赖进程启停,首次加载可能有延迟。
- · MIT 许可,可自由使用和修改。
- · Web UI 和 API 默认无鉴权,公网部署需配置 API Key。
