AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日
在自有硬件上运行各类开源模型的AI引擎,提供兼容OpenAI和Anthropic的API。
LocalAI 是一个开源的 AI 引擎,支持在本地运行文本、视觉、语音、图像、视频等多种模型,无需 GPU(有 GPU 更快)。它提供兼容 OpenAI 和 Anthropic 格式的 API,并附带聊天、智能体、文件管理、团队协作等上层功能,可部署在笔记本、服务器、容器或 Kubernetes 上。
推荐指数
功能全面、生态活跃,是自托管多模态模型服务的首选开源方案之一。
近 7 天
+113
新增 Star
总 Star 排名
#107
雷达追踪的 3,958 个 AI 仓库中
创建于
2023
2023年3月19日
核心亮点
1多模态支持
覆盖文本、视觉、语音、图像、视频、音乐等模型类型,一个 API 统一调用。
2硬件兼容广
支持 CPU、NVIDIA、AMD、Intel、Apple Silicon、Vulkan 等,无需 GPU 也能运行。
3API 兼容
提供 OpenAI 和 Anthropic 格式的 API,方便现有应用迁移。
4分布式部署
支持分布式模式,可将模型分散到多台机器上运行。
5上层功能丰富
内置聊天、智能体、项目、知识库、团队协作等(部分功能需开发版)。
适用场景
本地模型服务
例如:在无 GPU 的笔记本上运行小型语言模型,通过 OpenAI 兼容 API 供内部工具调用。
多模态应用开发
例如:用同一个 API 同时调用文本生成、语音转文字和图像生成模型,构建多媒体应用。
团队协作与知识管理
例如:利用 Projects 和 Knowledge 集合,围绕一个项目组织聊天、文件和智能体。
边缘/离线部署
例如:在 Jetson 设备或隔离网络中部署模型,保证数据不出本地。
它是怎么工作的
第 1 步
安装启动
通过脚本、容器或桌面应用安装并启动 LocalAI 服务。
第 2 步
加载模型
从模型库、Hugging Face、Ollama 或 OCI 仓库拉取并加载模型。
第 3 步
调用 API
使用 OpenAI 或 Anthropic 兼容的 API 接口发送请求。
第 4 步
扩展功能
按需启用聊天、智能体、MCP 工具、插件等上层功能。
快速上手
- 1
脚本安装
下载并安装 LocalAI 二进制文件(Linux 或 Apple Silicon macOS)。
curl -sSL https://localai.io/install.sh | sh - 2
启动服务
运行 local-ai 启动服务器,默认监听 8080 端口。
local-ai - 3
容器运行
使用 Docker 快速启动 LocalAI 容器。
docker run -ti --name local-ai -p 8080:8080 localai/localai:latest - 4
加载模型
从模型库或 Hugging Face 等来源加载一个模型。
local-ai run gemma-4-e2b-it-qat-q4_0
适合谁
- 希望自托管模型服务并保持数据本地化的开发者
- 需要兼容 OpenAI/Anthropic API 的团队
- 想在无 GPU 或多种硬件上运行模型的用户
- 需要多模态模型统一调用的应用开发者
不太适合
- 追求开箱即用、不愿自行部署运维的用户
- 需要官方商业支持与 SLA 的企业
成熟度
- 活跃度最近更新于 2026 年 11 月,star 数超过 5 万,开发活跃。
- 文档有独立文档站点和快速入门指南,但部分新功能标注为开发版。
- 社区Discord 社区活跃,issue 数量适中(190 个开放),有团队维护。
- 上手难度提供脚本、容器和桌面应用多种安装方式,但高级功能需一定配置。
同类项目怎么选
- Ollama更专注于本地语言模型运行,API 兼容性较窄,多模态和上层功能较少。
- vLLM专注于高性能 LLM 推理,需要 GPU,不提供多模态和团队协作功能。
- llama.cpp底层推理引擎,需自行封装 API 和服务,LocalAI 在其上提供了完整服务层。
使用前注意
- · 部分功能(如 Projects、插件、团队协作)需要开发版或更新版本,稳定版可能不包含。
- · 运行较大模型需要足够的内存和存储,GPU 可加速但非必需。
- · 使用第三方模型需注意模型许可协议。
- · 分布式模式和多机部署需要额外网络配置。
