AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日
面向 Apple Silicon 的本地大模型推理服务,兼容 OpenAI 与 Anthropic 接口,重点优化编码 Agent 的工具调用。
Rapid-MLX 是一个基于 MLX 的开源推理服务器,运行在 Apple Silicon Mac 上,提供 OpenAI 和 Anthropic 兼容的本地 API。它针对编码 Agent 的工具调用做了专门优化,README 称在相同权重下比 mlx-lm 快,典型任务约 1.5 倍,最高可达 4 倍。
推荐指数
在 Mac 上本地跑编码 Agent 的实用选择,接口兼容和工具调用支持是主要卖点,但性能数据来自项目自测。
近 7 天
+33
新增 Star
总 Star 排名
#1425
雷达追踪的 3,958 个 AI 仓库中
创建于
2026
2026年2月25日
核心亮点
1双接口兼容
同时提供 OpenAI 与 Anthropic Messages 风格的本地 API。
2工具调用优化
内置 27 个工具调用解析模块,并带自动识别兜底。
3一键接入 Agent
rapid-mlx launch 可直接启动 Codex、Claude Code 等编码 Agent。
4连续批处理
支持并发请求,并带前缀缓存和量化 KV 缓存。
5安装简单
提供安装脚本和 Homebrew 安装方式。
适用场景
Mac 本地跑编码 Agent
例如:用 rapid-mlx launch codex 让 Codex 连接本地模型工作。
替换本地推理后端
例如:把原本指向 Ollama 或 LM Studio 的 OpenAI 兼容客户端改指向 Rapid-MLX。
需要工具调用的本地应用
例如:自建应用通过 /v1/chat/completions 调用本地模型执行函数调用。
它是怎么工作的
第 1 步
加载模型
基于 MLX 在 Apple Silicon 上加载本地权重。
第 2 步
启动服务
暴露 OpenAI 和 Anthropic 兼容的 HTTP 接口。
第 3 步
解析工具调用
用对应解析模块把模型输出转成结构化工具调用。
第 4 步
调度请求
通过连续批处理和前缀缓存处理并发请求。
快速上手
- 1
安装
用官方脚本安装并重开终端。
curl -fsSL https://rapidmlx.com/install.sh | bash - 2
启动 Agent
以 Codex 为例,一条命令接入本地模型。
rapid-mlx launch codex - 3
移除配置
删除 Rapid 创建的私有配置,不影响原有设置。
rapid-mlx launch codex --remove
适合谁
- 使用 Apple Silicon Mac 的开发者
- 想在本地跑编码 Agent 的人
- 需要 OpenAI 或 Anthropic 兼容本地接口的项目
不太适合
- 使用 Windows 或 Linux 的用户
- 需要闭源商业支持的用户
成熟度
- 活跃度最近仍有提交,star 超 4000,issue 仅 10 个。
- 文档README 含安装、对比和 Agent 指南链接。
- 社区有 Discord 和 445 个 fork,但项目较新。
- 上手难度安装脚本和 launch 命令降低了上手门槛。
同类项目怎么选
- Ollama跨平台,支持 GGUF,生态更广;Rapid-MLX 专注 Apple Silicon 和 MLX。
- LM Studio提供图形界面且跨平台;Rapid-MLX 是开源服务端,侧重编码 Agent。
- mlx-lm苹果官方 MLX 推理库;Rapid-MLX 在其之上做服务和工具调用优化。
使用前注意
- · 仅支持 Apple Silicon Mac,其他平台无法使用。
- · 性能对比数据来自项目自测,实际效果因模型和硬件而异。
- · 首次回复可能因模型下载或加载而变慢。
- · Apache-2.0 许可,商用前仍需自行评估依赖与模型许可。
