AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
在 Apple Silicon 上运行兼容 OpenAI 与 Anthropic 接口的本地大模型推理服务。
这是一个面向 Apple Silicon Mac 的 vLLM 风格推理服务器,基于 MLX 原生运行,无需模型转换。它在单个进程里同时提供 OpenAI /v1/* 和 Anthropic /v1/messages 接口,并内置连续批处理、分页 KV 缓存、前缀缓存和 SSD 分层缓存,支持文本、图像、视频、音频等多模态模型。
推荐指数
Mac 本地部署大模型并接入编码 Agent 的实用选择,接口兼容性好,但仅限 Apple Silicon。
近 7 天
+4
新增 Star
总 Star 排名
#2561
雷达追踪的 3,958 个 AI 仓库中
创建于
2025
2025年12月7日
核心亮点
1双 API 兼容
同一进程同时提供 OpenAI 与 Anthropic 接口,现有客户端可直接接入。
2连续批处理
支持连续批处理、分页 KV 缓存和前缀缓存,提升并发吞吐。
3多模态支持
文本、图像、视频、音频输入,另含 TTS 与 Whisper 语音转写。
4工具调用
内置 19 种解析器,支持 MCP 工具调用与结构化 JSON 输出。
5编码 CLI 适配
README 称已用 Claude Code、Codex 等七个编码 CLI 验证流式工具交互。
适用场景
本地编码助手
例如:设置 ANTHROPIC_BASE_URL 指向本地服务后直接运行 claude 命令。
私有化推理服务
例如:用 OpenAI SDK 连接 localhost:8000 调用本地模型,数据不出本机。
多模态应用开发
例如:向 Qwen3-VL 模型发送图片和文字提问,获取图像描述。
语音处理
例如:用 Whisper 模型做语音转写,或用内置 TTS 生成多语言语音。
它是怎么工作的
第 1 步
安装服务
通过 pip 安装 vllm-mlx 包。
第 2 步
加载模型
serve 命令指定 MLX 格式模型,在 Metal 上加载到统一内存。
第 3 步
启动接口
进程监听端口,对外暴露 OpenAI 与 Anthropic 兼容端点。
第 4 步
调度请求
连续批处理与 KV 缓存管理并发请求,可选 SSD 缓存长上下文。
第 5 步
客户端调用
用 OpenAI/Anthropic SDK 或编码 CLI 直接请求。
快速上手
- 1
安装
安装固定版本 0.4.1
python -m pip install 'vllm-mlx==0.4.1' - 2
启动服务
加载 4bit Llama 模型并监听 8000 端口
vllm-mlx serve mlx-community/Llama-3.2-3B-Instruct-4bit --host 127.0.0.1 --port 8000 - 3
OpenAI 客户端调用
用 openai SDK 指向本地地址发请求
- 4
接入 Claude Code
设置环境变量后运行 claude
export ANTHROPIC_BASE_URL=http://localhost:8000 && export ANTHROPIC_API_KEY=not-needed && claude
适合谁
- 使用 Apple Silicon Mac 的开发者
- 需要本地私有推理的个人或小团队
- 想用编码 CLI 接本地模型的用户
- 需要多模态本地服务的开发者
不太适合
- 使用 Windows 或 Linux 的用户
- 需要跨平台 GPU 部署的团队
成熟度
- 活跃度2025 年 12 月创建,最近一次推送在 2026 年 11 月,仍在活跃更新。
- 文档README 结构完整,含快速开始、示例和多语言版本,并链接详细文档。
- 社区约 1656 star、237 fork,111 个未关闭 issue,社区规模中等。
- 上手难度pip 安装和单条命令启动简单,但高级功能需额外参数和文档配合。
同类项目怎么选
- Ollama跨平台、上手更简单,但缺少连续批处理与 Anthropic 接口。
- mlx-lmMLX 官方推理库,偏底层,不提供完整 OpenAI/Anthropic 服务端。
- vLLM面向 NVIDIA GPU 的高吞吐服务,不支持 Apple Silicon 原生运行。
使用前注意
- · 仅支持 Apple Silicon(M1–M5),其他平台无法运行。
- · 首次下载和加载模型耗时取决于机器与网络。
- · README 中的性能数据来自 M4 Max 特定环境,实际表现因硬件而异。
- · 采用 Apache-2.0 许可,商用前建议自行确认依赖与模型许可。
