jundot GitHub avatar

omlx

Python
苹果芯片推理服务jundot最近推送 2026年11月18日
模型推理与部署Apache-2.023.7k2,153519 issues7 天 +202

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

面向 Apple Silicon 的本地 LLM 推理服务器,带连续批处理和 SSD 缓存,可从菜单栏管理。

oMLX 是一个运行在 Apple Silicon Mac 上的大模型推理服务,支持文本 LLM、视觉语言模型、OCR、嵌入和重排模型。它提供 OpenAI 兼容接口,并配有 macOS 菜单栏应用和 Web 管理面板,用于模型管理、监控和聊天。

推荐指数

4.0

适合在 Mac 上跑本地模型的开发者,功能完整、上手路径清晰,但依赖 Apple Silicon 和较新 macOS。

近 7 天

+202

新增 Star

总 Star 排名

#305

雷达追踪的 3,958 个 AI 仓库中

创建于

2026

2026年2月13日

核心亮点

  • 1连续批处理

    多个请求可同时推理,提高本地吞吐。

  • 2分层 KV 缓存

    热数据放内存、冷数据放 SSD,上下文变化后仍可复用。

  • 3菜单栏管理

    macOS 应用可从菜单栏启停服务、查看状态。

  • 4OpenAI 兼容

    任何兼容 OpenAI 接口的客户端可连 localhost:8000/v1。

  • 5多模型类型

    支持 LLM、VLM、OCR、嵌入和重排模型。

适用场景

  • 本地编码助手

    例如:把 Claude Code 等工具指向本地 oMLX 服务,用 Mac 跑模型。

  • 私有化推理服务

    例如:在内网 Mac 上启动 OpenAI 兼容接口,供团队内部调用。

  • 模型实验与对比

    例如:用管理面板切换模型、跑基准测试并查看实时指标。

它是怎么工作的

  1. 第 1 步

    发现模型

    从模型目录的子目录自动识别 LLM、VLM、嵌入等模型。

  2. 第 2 步

    启动服务

    通过菜单栏应用或 omlx serve 启动本地 HTTP 服务。

  3. 第 3 步

    调度请求

    用连续批处理同时处理多个推理请求。

  4. 第 4 步

    缓存上下文

    KV 缓存分内存和 SSD 两层,跨请求复用历史上下文。

  5. 第 5 步

    对外接口

    暴露 OpenAI 兼容 API 和内置聊天界面。

快速上手

  1. 1

    安装应用

    从 Releases 下载 dmg,拖入 Applications。

  2. 2

    Homebrew 安装

    用 Homebrew 安装并可选编译原生内核。

    brew tap jundot/omlx https://github.com/jundot/omlx && brew install jundot/omlx/omlx --with-custom-kernel
  3. 3

    启动服务

    以后台服务方式启动,默认端口 8000。

    omlx start
  4. 4

    连接客户端

    将 OpenAI 兼容客户端指向本地地址。

适合谁

  • 使用 Apple Silicon Mac 的开发者
  • 想在本地跑开源模型的个人用户
  • 需要 OpenAI 兼容接口的团队

不太适合

  • 使用 Windows 或 Linux 的用户
  • 使用 Intel Mac 的用户
  • 需要多卡 GPU 大规模部署的场景

成熟度

  • 活跃度创建不到一年已获约 2.3 万 star,最近仍有推送。
  • 文档README 覆盖安装、快速开始、功能和 CLI 配置,较完整。
  • 社区fork 超 2000,开放 issue 约 500,讨论活跃。
  • 上手难度提供 dmg 和 Homebrew 安装,菜单栏引导上手;原生内核需完整 Xcode。

同类项目怎么选

  • Ollama跨平台支持更广,oMLX 专注 Apple Silicon 并强调 SSD 缓存和菜单栏管理。
  • LM Studio提供图形化模型管理,oMLX 更偏服务端和 OpenAI 兼容接口。
  • llama.cpp底层推理引擎,oMLX 在其之上提供批处理、缓存和管理界面。

使用前注意

  • · 仅支持 Apple Silicon 和 macOS 15.0 及以上。
  • · GLM-5.2、MiniMax M3、Qwen3.5 等模型需要原生自定义内核,否则回退到较慢路径。
  • · 编译原生内核需要完整 Xcode 和 Metal 工具链,仅装命令行工具不够。
  • · 采用 Apache-2.0 许可,商用前建议确认模型自身许可。

主题标签

apple-siliconinference-serverllmmacosmlxopenai-api