AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
让 vLLM 在 Apple Silicon Mac 上用 Metal/MLX 跑大模型推理的硬件插件。
这是 vLLM 项目的社区维护硬件插件,把 vLLM 的推理能力带到 Apple Silicon Mac 上,以 MLX 作为主要计算后端,并把 MLX 与 PyTorch 统一到同一条 lowering 路径。上游 vLLM 提供 API 服务、调度器和分页块管理,mlx_lm 提供逐 token 的模型层,插件自己负责请求感知的注意力路径。
推荐指数
想在 Mac 本地用 vLLM 跑推理的开发者值得一试,但需接受模型支持范围和社区维护的现状。
近 7 天
+17
新增 Star
总 Star 排名
#2296
雷达追踪的 3,958 个 AI 仓库中
创建于
2025
2025年12月13日
核心亮点
1复用 vLLM 生态
沿用 vLLM 的 API 服务、调度器和分页块管理,接口习惯不变。
2MLX 为主后端
以 MLX 作为主要计算后端,统一 MLX 与 PyTorch 的 lowering 路径。
3自研注意力内核
插件负责分页 varlen 内核、M5 NAX prefill 和投机解码等请求感知路径。
4安装方式简单
提供 Homebrew 和 curl 安装脚本,开发版无需编译器。
5文档较完整
有独立文档站、按 Mac 内存分类的 recipes 和模型支持矩阵。
适用场景
Mac 本地推理服务
例如:在 Apple Silicon Mac 上启动 vLLM 的 OpenAI 兼容 API 服务,供本地应用调用。
按内存选模型
例如:参考 recipes 按自己的 Mac 内存挑选能跑起来的模型和量化版本。
桌面端实验
例如:用 sleep mode 让空闲模型服务归还内存给其他应用,而不必关停服务。
它是怎么工作的
第 1 步
上游接管调度
vLLM 提供 API 服务器、调度器和分页块管理器。
第 2 步
模型层来自 mlx_lm
逐 token 的模型层由 mlx_lm 提供。
第 3 步
插件实现注意力
vllm-metal 负责分页 varlen 内核、M5 NAX prefill 与投机解码。
第 4 步
统一 lowering
把 MLX 与 PyTorch 放到同一条 lowering 路径上执行。
快速上手
- 1
稳定版安装
通过 Homebrew 安装后直接运行 vllm,无需激活环境。
brew tap vllm-project/vllm-metal https://github.com/vllm-project/vllm-metal brew install vllm-project/vllm-metal/vllm-metal - 2
开发版安装
用 curl 脚本安装并激活环境,不需要编译器。
curl -fsSL https://raw.githubusercontent.com/vllm-project/vllm-metal/main/install.sh | bash source ~/.venv-vllm-metal/bin/activate - 3
查支持模型
先看 docs/supported_models.md 确认目标模型在支持列表内。
适合谁
- 使用 Apple Silicon Mac、想在本地跑 vLLM 的开发者
- 需要 OpenAI 兼容本地推理服务的应用开发者
- 愿意跟进社区插件、能接受模型支持有限的用户
不太适合
- 使用 NVIDIA GPU 或 Linux 服务器的用户
- 要求长期稳定、模型覆盖全面的生产环境
成熟度
- 活跃度2025 年 12 月创建,最近一次推送在 2026 年 11 月,README 新闻持续更新。
- 文档有独立文档站、recipes、支持模型矩阵和贡献指南。
- 社区约 2000 star、359 fork、79 个开放 issue,属中等规模社区。
- 上手难度Homebrew 与 curl 一键安装,开发版无需编译器,但需 macOS 15 及以上。
同类项目怎么选
- mlx-lm直接提供 MLX 上的模型推理,不带 vLLM 的调度与分页服务层。
- llama.cpp跨平台 C++ 推理实现,不依赖 vLLM 生态。
- Ollama面向开箱即用的本地模型运行与管理,封装程度更高。
使用前注意
- · 仅支持 Apple Silicon 上的 macOS 15 (Sequoia) 及以上
- · 模型支持范围有限,使用前需查支持矩阵
- · 为社区维护的硬件插件,成熟度与稳定性不及上游 vLLM
- · 桌面推理会与其他应用争抢内存,需留意内存占用
