mostlygeek GitHub avatar

llama-swap

Go
本地模型切换服务mostlygeek最近推送 2026年11月19日
模型推理与部署MIT6,272548117 issues7 天 +38

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

一个 Go 写的代理,按需在本地多个 AI 模型间热切换,统一 OpenAI/Anthropic 接口。

llama-swap 是一个用 Go 编写的本地 AI 模型代理服务,为 llama.cpp、vLLM 等兼容 OpenAI/Anthropic API 的推理服务器提供按需模型切换能力。它只有一个二进制文件和一个配置文件,无外部依赖,让开发者用统一 API 访问多个本地模型。

推荐指数

5.0

本地多模型管理的实用工具,部署简单、兼容面广,适合需要频繁切换模型的开发者。

近 7 天

+38

新增 Star

总 Star 排名

#1056

雷达追踪的 3,958 个 AI 仓库中

创建于

2024

2024年10月4日

核心亮点

  • 1按需热切换

    请求哪个模型就启动哪个,闲置模型可自动卸载,节省显存。

  • 2统一 API 入口

    兼容 OpenAI 和 Anthropic 接口,客户端无需改代码即可切换后端。

  • 3零依赖单文件

    一个二进制加一个配置文件即可运行,支持 Docker、Homebrew 等多种安装方式。

  • 4多后端支持

    可对接 llama.cpp、vLLM、stable-diffusion.cpp、ComfyUI、audio.cpp 等服务器。

  • 5自带 Web UI

    提供实时界面,可测试模型、查看日志、手动加载卸载模型。

适用场景

  • 本地多模型开发调试

    例如:在同一个客户端里切换对话模型和嵌入模型,无需手动重启推理服务。

  • 显存有限的单机部署

    例如:配置 ttl 让模型闲置后自动卸载,按请求加载所需模型,避免同时占用显存。

  • 统一接入多种推理后端

    例如:用 OpenAI 兼容客户端同时调用 llama.cpp 的对话模型和 stable-diffusion.cpp 的图片生成。

  • 团队共享本地模型服务

    例如:通过 API Key 限制访问,用 Web UI 查看运行状态和日志。

它是怎么工作的

  1. 第 1 步

    编写配置

    在配置文件中定义每个模型的启动命令、端口和参数。

  2. 第 2 步

    启动代理

    运行 llama-swap,它监听统一端口并暴露 OpenAI/Anthropic 兼容接口。

  3. 第 3 步

    按需拉起

    收到请求时检查目标模型是否运行,未运行则启动对应推理服务器。

  4. 第 4 步

    转发与回收

    将请求转发给上游服务器,并按 ttl 或手动指令卸载闲置模型。

快速上手

  1. 1

    选择安装方式

    可用 Docker、Homebrew、WinGet 或直接下载 release 二进制。

  2. 2

    编写配置文件

    按 README 示例定义模型 ID、启动命令和端口。

  3. 3

    启动服务

    运行 llama-swap 并指定配置文件,默认提供 Web UI 和 API。

  4. 4

    客户端接入

    把 OpenAI/Anthropic 客户端的 base URL 指向 llama-swap 地址即可。

适合谁

  • 在本地运行多个 AI 模型的开发者
  • 需要统一 API 接入多种推理后端的团队
  • 显存有限、需要按需加载模型的用户

不太适合

  • 只需要单一模型、不涉及切换的场景
  • 不想维护本地推理服务的纯云端用户

成熟度

  • 活跃度最近一次推送在 2026 年 11 月,持续活跃开发。
  • 文档README 详细列出接口和配置项,并有在线文档和聊天助手。
  • 社区6.2k star、547 fork,116 个开放 issue,有一定用户基础。
  • 上手难度单二进制加配置文件,提供多种安装方式和 Web UI,上手门槛低。

同类项目怎么选

  • OllamaOllama 自带模型管理和推理,llama-swap 不绑定推理引擎,只做代理和切换。
  • LiteLLMLiteLLM 侧重多提供商 API 网关和路由,llama-swap 专注本地模型进程的按需启停。

使用前注意

  • · 需要自行准备并配置底层推理服务器(如 llama.cpp、vLLM)。
  • · 模型切换依赖进程启停,首次加载可能有延迟。
  • · MIT 许可,可自由使用和修改。
  • · Web UI 和 API 默认无鉴权,公网部署需配置 API Key。

主题标签

golangllamalocalllamalocalllmaillm