av GitHub avatar

harbor

Python
本地 LLM 栈一键部署av最近推送 2026年11月11日
模型推理与部署Apache-2.03,2802417 issues7 天 +10

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

一条命令启动预配置的本地 LLM 栈,集成后端、前端和辅助服务。

Harbor 是一个 CLI 和配套应用,用于快速搭建本地 LLM 技术栈。它通过 Docker Compose 编排 Ollama、llama.cpp、vLLM 等后端,Open WebUI 等前端,以及 SearXNG、Speaches、ComfyUI 等辅助服务,所有服务预先配置好并互联,只需一条 `harbor up` 命令即可使用。

推荐指数

4.0

适合想快速体验本地 LLM 全栈的开发者,省去手动配置 Docker 的麻烦。

近 7 天

+10

新增 Star

总 Star 排名

#1682

雷达追踪的 3,958 个 AI 仓库中

创建于

2024

2024年7月28日

核心亮点

  • 1一键启动

    `harbor up` 自动启动并配置 Open WebUI 和 llama.cpp 等核心服务。

  • 2服务丰富

    支持数百个预集成服务,涵盖后端、前端、搜索、语音、图像生成等。

  • 3自动互联

    服务间网络和配置自动打通,无需手动修改环境变量或端口。

  • 4按需组合

    可单独启动特定服务,如 `harbor up searxng speaches` 为 Open WebUI 添加搜索和语音能力。

  • 5跨平台

    基于 Docker,支持 Linux、macOS 和 Windows(需 Docker Desktop)。

适用场景

  • 本地 LLM 快速体验

    例如:开发者想测试不同模型,用 `harbor up` 启动 Open WebUI 和 llama.cpp,直接在浏览器中对话。

  • 功能扩展

    例如:为 Open WebUI 添加联网搜索和语音聊天,运行 `harbor up searxng speaches` 即可。

  • 自托管 AI 服务

    例如:在家庭服务器上部署一套完整的 AI 工具链,包括模型后端、Web 界面和辅助服务。

它是怎么工作的

  1. 第 1 步

    选择服务

    通过 CLI 参数指定要启动的服务,如 `harbor up` 默认启动核心服务。

  2. 第 2 步

    生成配置

    Harbor 根据所选服务自动生成 Docker Compose 文件和网络配置。

  3. 第 3 步

    启动容器

    调用 Docker 启动所有相关容器,并确保它们之间的连接。

  4. 第 4 步

    访问使用

    服务启动后,通过浏览器访问 Open WebUI 等界面即可使用。

快速上手

  1. 1

    安装 Harbor

    根据官方文档安装 CLI 工具(支持 pip、npm 等)。

  2. 2

    启动核心栈

    运行以下命令启动 Open WebUI 和 llama.cpp。

    harbor up
  3. 3

    添加辅助服务

    启动 SearXNG 和 Speaches 以启用搜索和语音功能。

    harbor up searxng speaches

适合谁

  • 想快速搭建本地 LLM 环境的开发者
  • 需要多服务协同的 AI 应用开发者
  • 自托管爱好者

不太适合

  • 不熟悉 Docker 的初学者
  • 需要生产级高可用部署的团队

成熟度

  • 活跃度最近更新于 2026 年 11 月,版本迭代频繁。
  • 文档README 提供快速示例,但详细文档需参考 Wiki。
  • 社区3.2k stars,241 forks,有 Discord 社区。
  • 上手难度一条命令即可启动,但需要 Docker 基础。

同类项目怎么选

  • OllamaOllama 专注于本地模型运行,不提供前端和辅助服务编排。
  • LocalAILocalAI 提供 OpenAI 兼容 API,但需要手动配置前端和其他服务。
  • Open WebUIOpen WebUI 是前端界面,需要自行搭配后端和辅助服务。

使用前注意

  • · 需要安装 Docker 和 Docker Compose。
  • · 部分服务可能需要额外配置 API 密钥或模型文件。
  • · Apache-2.0 许可证,可自由使用和修改。
  • · 资源消耗取决于启动的服务数量,建议根据硬件条件选择。

主题标签

clidockerdocker-composellmtoolsaiself-hostedtoolbashcontainerlocalnpmpackagepypisafetensorsmcpautomationhomelabserver