raullenchai GitHub avatar

Rapid-MLX

Python
Apple 芯片本地推理服务raullenchai最近推送 2026年11月19日
模型推理与部署Apache-2.04,16544516 issues7 天 +33

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

面向 Apple Silicon 的本地大模型推理服务,兼容 OpenAI 与 Anthropic 接口,重点优化编码 Agent 的工具调用。

Rapid-MLX 是一个基于 MLX 的开源推理服务器,运行在 Apple Silicon Mac 上,提供 OpenAI 和 Anthropic 兼容的本地 API。它针对编码 Agent 的工具调用做了专门优化,README 称在相同权重下比 mlx-lm 快,典型任务约 1.5 倍,最高可达 4 倍。

推荐指数

4.0

在 Mac 上本地跑编码 Agent 的实用选择,接口兼容和工具调用支持是主要卖点,但性能数据来自项目自测。

近 7 天

+33

新增 Star

总 Star 排名

#1425

雷达追踪的 3,958 个 AI 仓库中

创建于

2026

2026年2月25日

核心亮点

  • 1双接口兼容

    同时提供 OpenAI 与 Anthropic Messages 风格的本地 API。

  • 2工具调用优化

    内置 27 个工具调用解析模块,并带自动识别兜底。

  • 3一键接入 Agent

    rapid-mlx launch 可直接启动 Codex、Claude Code 等编码 Agent。

  • 4连续批处理

    支持并发请求,并带前缀缓存和量化 KV 缓存。

  • 5安装简单

    提供安装脚本和 Homebrew 安装方式。

适用场景

  • Mac 本地跑编码 Agent

    例如:用 rapid-mlx launch codex 让 Codex 连接本地模型工作。

  • 替换本地推理后端

    例如:把原本指向 Ollama 或 LM Studio 的 OpenAI 兼容客户端改指向 Rapid-MLX。

  • 需要工具调用的本地应用

    例如:自建应用通过 /v1/chat/completions 调用本地模型执行函数调用。

它是怎么工作的

  1. 第 1 步

    加载模型

    基于 MLX 在 Apple Silicon 上加载本地权重。

  2. 第 2 步

    启动服务

    暴露 OpenAI 和 Anthropic 兼容的 HTTP 接口。

  3. 第 3 步

    解析工具调用

    用对应解析模块把模型输出转成结构化工具调用。

  4. 第 4 步

    调度请求

    通过连续批处理和前缀缓存处理并发请求。

快速上手

  1. 1

    安装

    用官方脚本安装并重开终端。

    curl -fsSL https://rapidmlx.com/install.sh | bash
  2. 2

    启动 Agent

    以 Codex 为例,一条命令接入本地模型。

    rapid-mlx launch codex
  3. 3

    移除配置

    删除 Rapid 创建的私有配置,不影响原有设置。

    rapid-mlx launch codex --remove

适合谁

  • 使用 Apple Silicon Mac 的开发者
  • 想在本地跑编码 Agent 的人
  • 需要 OpenAI 或 Anthropic 兼容本地接口的项目

不太适合

  • 使用 Windows 或 Linux 的用户
  • 需要闭源商业支持的用户

成熟度

  • 活跃度最近仍有提交,star 超 4000,issue 仅 10 个。
  • 文档README 含安装、对比和 Agent 指南链接。
  • 社区有 Discord 和 445 个 fork,但项目较新。
  • 上手难度安装脚本和 launch 命令降低了上手门槛。

同类项目怎么选

  • Ollama跨平台,支持 GGUF,生态更广;Rapid-MLX 专注 Apple Silicon 和 MLX。
  • LM Studio提供图形界面且跨平台;Rapid-MLX 是开源服务端,侧重编码 Agent。
  • mlx-lm苹果官方 MLX 推理库;Rapid-MLX 在其之上做服务和工具调用优化。

使用前注意

  • · 仅支持 Apple Silicon Mac,其他平台无法使用。
  • · 性能对比数据来自项目自测,实际效果因模型和硬件而异。
  • · 首次回复可能因模型下载或加载而变慢。
  • · Apache-2.0 许可,商用前仍需自行评估依赖与模型许可。

主题标签

apple-siliconlocal-llmmacosmlxtool-callingollama-alternativeclaude-codeanthropic-apicoding-agentscontinuous-batchinginference-serverllm-inferencellm-serverlocal-aiomlx-alternativeopenai-compatiblelm-studio-alternativemcpmlx-lmspeculative-decoding