waybarrios GitHub avatar

vllm-mlx

Python
苹果芯片大模型推理服务waybarrios最近推送 2026年11月8日
模型推理与部署Apache-2.01,657238109 issues7 天 +4

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

在 Apple Silicon 上运行兼容 OpenAI 与 Anthropic 接口的本地大模型推理服务。

这是一个面向 Apple Silicon Mac 的 vLLM 风格推理服务器,基于 MLX 原生运行,无需模型转换。它在单个进程里同时提供 OpenAI /v1/* 和 Anthropic /v1/messages 接口,并内置连续批处理、分页 KV 缓存、前缀缓存和 SSD 分层缓存,支持文本、图像、视频、音频等多模态模型。

推荐指数

4.0

Mac 本地部署大模型并接入编码 Agent 的实用选择,接口兼容性好,但仅限 Apple Silicon。

近 7 天

+4

新增 Star

总 Star 排名

#2561

雷达追踪的 3,958 个 AI 仓库中

创建于

2025

2025年12月7日

核心亮点

  • 1双 API 兼容

    同一进程同时提供 OpenAI 与 Anthropic 接口,现有客户端可直接接入。

  • 2连续批处理

    支持连续批处理、分页 KV 缓存和前缀缓存,提升并发吞吐。

  • 3多模态支持

    文本、图像、视频、音频输入,另含 TTS 与 Whisper 语音转写。

  • 4工具调用

    内置 19 种解析器,支持 MCP 工具调用与结构化 JSON 输出。

  • 5编码 CLI 适配

    README 称已用 Claude Code、Codex 等七个编码 CLI 验证流式工具交互。

适用场景

  • 本地编码助手

    例如:设置 ANTHROPIC_BASE_URL 指向本地服务后直接运行 claude 命令。

  • 私有化推理服务

    例如:用 OpenAI SDK 连接 localhost:8000 调用本地模型,数据不出本机。

  • 多模态应用开发

    例如:向 Qwen3-VL 模型发送图片和文字提问,获取图像描述。

  • 语音处理

    例如:用 Whisper 模型做语音转写,或用内置 TTS 生成多语言语音。

它是怎么工作的

  1. 第 1 步

    安装服务

    通过 pip 安装 vllm-mlx 包。

  2. 第 2 步

    加载模型

    serve 命令指定 MLX 格式模型,在 Metal 上加载到统一内存。

  3. 第 3 步

    启动接口

    进程监听端口,对外暴露 OpenAI 与 Anthropic 兼容端点。

  4. 第 4 步

    调度请求

    连续批处理与 KV 缓存管理并发请求,可选 SSD 缓存长上下文。

  5. 第 5 步

    客户端调用

    用 OpenAI/Anthropic SDK 或编码 CLI 直接请求。

快速上手

  1. 1

    安装

    安装固定版本 0.4.1

    python -m pip install 'vllm-mlx==0.4.1'
  2. 2

    启动服务

    加载 4bit Llama 模型并监听 8000 端口

    vllm-mlx serve mlx-community/Llama-3.2-3B-Instruct-4bit --host 127.0.0.1 --port 8000
  3. 3

    OpenAI 客户端调用

    用 openai SDK 指向本地地址发请求

  4. 4

    接入 Claude Code

    设置环境变量后运行 claude

    export ANTHROPIC_BASE_URL=http://localhost:8000 && export ANTHROPIC_API_KEY=not-needed && claude

适合谁

  • 使用 Apple Silicon Mac 的开发者
  • 需要本地私有推理的个人或小团队
  • 想用编码 CLI 接本地模型的用户
  • 需要多模态本地服务的开发者

不太适合

  • 使用 Windows 或 Linux 的用户
  • 需要跨平台 GPU 部署的团队

成熟度

  • 活跃度2025 年 12 月创建,最近一次推送在 2026 年 11 月,仍在活跃更新。
  • 文档README 结构完整,含快速开始、示例和多语言版本,并链接详细文档。
  • 社区约 1656 star、237 fork,111 个未关闭 issue,社区规模中等。
  • 上手难度pip 安装和单条命令启动简单,但高级功能需额外参数和文档配合。

同类项目怎么选

  • Ollama跨平台、上手更简单,但缺少连续批处理与 Anthropic 接口。
  • mlx-lmMLX 官方推理库,偏底层,不提供完整 OpenAI/Anthropic 服务端。
  • vLLM面向 NVIDIA GPU 的高吞吐服务,不支持 Apple Silicon 原生运行。

使用前注意

  • · 仅支持 Apple Silicon(M1–M5),其他平台无法运行。
  • · 首次下载和加载模型耗时取决于机器与网络。
  • · README 中的性能数据来自 M4 Max 特定环境,实际表现因硬件而异。
  • · 采用 Apache-2.0 许可,商用前建议自行确认依赖与模型许可。

主题标签

apple-siliconllmmacosmlxmultimodal-aispeech-to-texttext-to-speechvision-language-modelvllmanthropicclaude-codeanthropic-apicontinuous-batchinginference-serverlocal-llmmcpopenaiopenai-apiopenai-compatibletool-calling