mudler GitHub avatar

LocalAI

Go
本地多模态推理引擎mudler最近推送 2026年11月19日
模型推理与部署MIT50.4k4,617196 issues7 天 +113

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

在自有硬件上运行各类开源模型的AI引擎,提供兼容OpenAI和Anthropic的API。

LocalAI 是一个开源的 AI 引擎,支持在本地运行文本、视觉、语音、图像、视频等多种模型,无需 GPU(有 GPU 更快)。它提供兼容 OpenAI 和 Anthropic 格式的 API,并附带聊天、智能体、文件管理、团队协作等上层功能,可部署在笔记本、服务器、容器或 Kubernetes 上。

推荐指数

5.0

功能全面、生态活跃,是自托管多模态模型服务的首选开源方案之一。

近 7 天

+113

新增 Star

总 Star 排名

#107

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年3月19日

核心亮点

  • 1多模态支持

    覆盖文本、视觉、语音、图像、视频、音乐等模型类型,一个 API 统一调用。

  • 2硬件兼容广

    支持 CPU、NVIDIA、AMD、Intel、Apple Silicon、Vulkan 等,无需 GPU 也能运行。

  • 3API 兼容

    提供 OpenAI 和 Anthropic 格式的 API,方便现有应用迁移。

  • 4分布式部署

    支持分布式模式,可将模型分散到多台机器上运行。

  • 5上层功能丰富

    内置聊天、智能体、项目、知识库、团队协作等(部分功能需开发版)。

适用场景

  • 本地模型服务

    例如:在无 GPU 的笔记本上运行小型语言模型,通过 OpenAI 兼容 API 供内部工具调用。

  • 多模态应用开发

    例如:用同一个 API 同时调用文本生成、语音转文字和图像生成模型,构建多媒体应用。

  • 团队协作与知识管理

    例如:利用 Projects 和 Knowledge 集合,围绕一个项目组织聊天、文件和智能体。

  • 边缘/离线部署

    例如:在 Jetson 设备或隔离网络中部署模型,保证数据不出本地。

它是怎么工作的

  1. 第 1 步

    安装启动

    通过脚本、容器或桌面应用安装并启动 LocalAI 服务。

  2. 第 2 步

    加载模型

    从模型库、Hugging Face、Ollama 或 OCI 仓库拉取并加载模型。

  3. 第 3 步

    调用 API

    使用 OpenAI 或 Anthropic 兼容的 API 接口发送请求。

  4. 第 4 步

    扩展功能

    按需启用聊天、智能体、MCP 工具、插件等上层功能。

快速上手

  1. 1

    脚本安装

    下载并安装 LocalAI 二进制文件(Linux 或 Apple Silicon macOS)。

    curl -sSL https://localai.io/install.sh | sh
  2. 2

    启动服务

    运行 local-ai 启动服务器,默认监听 8080 端口。

    local-ai
  3. 3

    容器运行

    使用 Docker 快速启动 LocalAI 容器。

    docker run -ti --name local-ai -p 8080:8080 localai/localai:latest
  4. 4

    加载模型

    从模型库或 Hugging Face 等来源加载一个模型。

    local-ai run gemma-4-e2b-it-qat-q4_0

适合谁

  • 希望自托管模型服务并保持数据本地化的开发者
  • 需要兼容 OpenAI/Anthropic API 的团队
  • 想在无 GPU 或多种硬件上运行模型的用户
  • 需要多模态模型统一调用的应用开发者

不太适合

  • 追求开箱即用、不愿自行部署运维的用户
  • 需要官方商业支持与 SLA 的企业

成熟度

  • 活跃度最近更新于 2026 年 11 月,star 数超过 5 万,开发活跃。
  • 文档有独立文档站点和快速入门指南,但部分新功能标注为开发版。
  • 社区Discord 社区活跃,issue 数量适中(190 个开放),有团队维护。
  • 上手难度提供脚本、容器和桌面应用多种安装方式,但高级功能需一定配置。

同类项目怎么选

  • Ollama更专注于本地语言模型运行,API 兼容性较窄,多模态和上层功能较少。
  • vLLM专注于高性能 LLM 推理,需要 GPU,不提供多模态和团队协作功能。
  • llama.cpp底层推理引擎,需自行封装 API 和服务,LocalAI 在其上提供了完整服务层。

使用前注意

  • · 部分功能(如 Projects、插件、团队协作)需要开发版或更新版本,稳定版可能不包含。
  • · 运行较大模型需要足够的内存和存储,GPU 可加速但非必需。
  • · 使用第三方模型需注意模型许可协议。
  • · 分布式模式和多机部署需要额外网络配置。

主题标签

llamaaillmstable-diffusionapittsmusicgenmambaaudio-generationimage-generationtext-generationrerankdistributedlibp2pdecentralizedobject-detectionmcpagents