AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日
面向 Apple Silicon 的本地 LLM 推理服务器,带连续批处理和 SSD 缓存,可从菜单栏管理。
oMLX 是一个运行在 Apple Silicon Mac 上的大模型推理服务,支持文本 LLM、视觉语言模型、OCR、嵌入和重排模型。它提供 OpenAI 兼容接口,并配有 macOS 菜单栏应用和 Web 管理面板,用于模型管理、监控和聊天。
推荐指数
适合在 Mac 上跑本地模型的开发者,功能完整、上手路径清晰,但依赖 Apple Silicon 和较新 macOS。
近 7 天
+202
新增 Star
总 Star 排名
#305
雷达追踪的 3,958 个 AI 仓库中
创建于
2026
2026年2月13日
核心亮点
1连续批处理
多个请求可同时推理,提高本地吞吐。
2分层 KV 缓存
热数据放内存、冷数据放 SSD,上下文变化后仍可复用。
3菜单栏管理
macOS 应用可从菜单栏启停服务、查看状态。
4OpenAI 兼容
任何兼容 OpenAI 接口的客户端可连 localhost:8000/v1。
5多模型类型
支持 LLM、VLM、OCR、嵌入和重排模型。
适用场景
本地编码助手
例如:把 Claude Code 等工具指向本地 oMLX 服务,用 Mac 跑模型。
私有化推理服务
例如:在内网 Mac 上启动 OpenAI 兼容接口,供团队内部调用。
模型实验与对比
例如:用管理面板切换模型、跑基准测试并查看实时指标。
它是怎么工作的
第 1 步
发现模型
从模型目录的子目录自动识别 LLM、VLM、嵌入等模型。
第 2 步
启动服务
通过菜单栏应用或 omlx serve 启动本地 HTTP 服务。
第 3 步
调度请求
用连续批处理同时处理多个推理请求。
第 4 步
缓存上下文
KV 缓存分内存和 SSD 两层,跨请求复用历史上下文。
第 5 步
对外接口
暴露 OpenAI 兼容 API 和内置聊天界面。
快速上手
- 1
安装应用
从 Releases 下载 dmg,拖入 Applications。
- 2
Homebrew 安装
用 Homebrew 安装并可选编译原生内核。
brew tap jundot/omlx https://github.com/jundot/omlx && brew install jundot/omlx/omlx --with-custom-kernel - 3
启动服务
以后台服务方式启动,默认端口 8000。
omlx start - 4
连接客户端
将 OpenAI 兼容客户端指向本地地址。
适合谁
- 使用 Apple Silicon Mac 的开发者
- 想在本地跑开源模型的个人用户
- 需要 OpenAI 兼容接口的团队
不太适合
- 使用 Windows 或 Linux 的用户
- 使用 Intel Mac 的用户
- 需要多卡 GPU 大规模部署的场景
成熟度
- 活跃度创建不到一年已获约 2.3 万 star,最近仍有推送。
- 文档README 覆盖安装、快速开始、功能和 CLI 配置,较完整。
- 社区fork 超 2000,开放 issue 约 500,讨论活跃。
- 上手难度提供 dmg 和 Homebrew 安装,菜单栏引导上手;原生内核需完整 Xcode。
同类项目怎么选
- Ollama跨平台支持更广,oMLX 专注 Apple Silicon 并强调 SSD 缓存和菜单栏管理。
- LM Studio提供图形化模型管理,oMLX 更偏服务端和 OpenAI 兼容接口。
- llama.cpp底层推理引擎,oMLX 在其之上提供批处理、缓存和管理界面。
使用前注意
- · 仅支持 Apple Silicon 和 macOS 15.0 及以上。
- · GLM-5.2、MiniMax M3、Qwen3.5 等模型需要原生自定义内核,否则回退到较慢路径。
- · 编译原生内核需要完整 Xcode 和 Metal 工具链,仅装命令行工具不够。
- · 采用 Apache-2.0 许可,商用前建议确认模型自身许可。
