AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日
本地运行和管理开放大模型的工具,一条命令即可下载、运行和调用模型。
Ollama 是一个用 Go 编写的开源工具,帮助开发者在本地或云端运行 Kimi、GLM、MiniMax、DeepSeek、gpt-oss、Qwen、Gemma 等开放模型。它提供命令行、REST API 以及 Python/JavaScript 库,方便把模型接入应用。
推荐指数
本地跑开放模型最省事的入口,生态和文档都很成熟。
近 7 天
+863
新增 Star
总 Star 排名
#10
雷达追踪的 3,958 个 AI 仓库中
创建于
2023
2023年6月27日
核心亮点
1一条命令跑模型
安装后执行 ollama run 模型名即可下载并对话。
2多平台安装
支持 macOS、Windows、Linux 和 Docker。
3REST API 与 SDK
提供本地 API 以及 Python、JavaScript 官方库。
4模型库丰富
官方库收录 Gemma、Qwen、DeepSeek 等大量开放模型。
5集成开发工具
可通过 ollama launch 接入 Claude Code、Codex、Copilot CLI 等。
适用场景
本地模型体验
例如:在笔记本上运行 gemma4 模型进行对话测试。
应用开发接入
例如:用 Python 库调用本地模型,为应用添加问答功能。
编码助手集成
例如:执行 ollama launch claude 把本地模型接入 Claude Code。
私有化部署
例如:在 Docker 中运行 Ollama,通过 REST API 供内网服务调用。
它是怎么工作的
第 1 步
安装服务
通过脚本或安装包在本地安装 Ollama,启动后台服务。
第 2 步
拉取模型
运行模型时自动从模型库下载对应权重。
第 3 步
本地推理
基于 llama.cpp 后端在本地执行模型推理。
第 4 步
对外接口
通过命令行、REST API 或 SDK 与应用交互。
快速上手
- 1
安装
macOS/Linux 用脚本安装,Windows 用 PowerShell 脚本。
curl -fsSL https://ollama.com/install.sh | sh - 2
运行模型
下载并进入对话。
ollama run gemma4 - 3
调用 API
向本地 11434 端口发送聊天请求。
curl http://localhost:11434/api/chat -d '{"model":"gemma4","messages":[{"role":"user","content":"Why is the sky blue?"}],"stream":false}' - 4
Python 接入
安装官方库后调用 chat 接口。
pip install ollama
适合谁
- 想本地运行开放模型的开发者
- 需要给应用加模型能力的后端/全栈工程师
- 关注数据隐私、希望私有化部署的团队
- 想快速体验多种开放模型的个人用户
不太适合
- 没有本地算力、只能依赖云端 API 的用户
- 需要训练或微调模型的研究人员
成熟度
- 活跃度最近一次推送在 2026 年 11 月,持续活跃开发。
- 文档README 覆盖安装、CLI、API、SDK 和集成,并有独立文档站。
- 社区18.7 万 star、1.9 万 fork,社区集成列表很长。
- 上手难度安装脚本和 ollama run 一条命令即可跑通。
同类项目怎么选
- llama.cpp更底层的推理引擎,Ollama 本身基于它构建,使用门槛更高。
- LocalAI提供兼容 OpenAI 的 API,侧重多后端统一接口。
- vLLM面向高吞吐服务端推理,适合生产部署而非个人本地使用。
使用前注意
- · 本地运行大模型需要足够的内存和显存,模型越大要求越高。
- · 开源许可为 MIT,但各模型权重有各自的许可,商用前需确认。
- · 未关闭的 issue 较多(约 4600 个),遇到问题可能需要自行排查。
- · 默认服务监听本地 11434 端口,对外暴露时需注意访问控制。
