vllm-project GitHub avatar

vllm-metal

Python
苹果芯片推理插件vllm-project最近推送 2026年11月18日
模型推理与部署Apache-2.02,00336381 issues7 天 +17

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

让 vLLM 在 Apple Silicon Mac 上用 Metal/MLX 跑大模型推理的硬件插件。

这是 vLLM 项目的社区维护硬件插件,把 vLLM 的推理能力带到 Apple Silicon Mac 上,以 MLX 作为主要计算后端,并把 MLX 与 PyTorch 统一到同一条 lowering 路径。上游 vLLM 提供 API 服务、调度器和分页块管理,mlx_lm 提供逐 token 的模型层,插件自己负责请求感知的注意力路径。

推荐指数

4.0

想在 Mac 本地用 vLLM 跑推理的开发者值得一试,但需接受模型支持范围和社区维护的现状。

近 7 天

+17

新增 Star

总 Star 排名

#2296

雷达追踪的 3,958 个 AI 仓库中

创建于

2025

2025年12月13日

核心亮点

  • 1复用 vLLM 生态

    沿用 vLLM 的 API 服务、调度器和分页块管理,接口习惯不变。

  • 2MLX 为主后端

    以 MLX 作为主要计算后端,统一 MLX 与 PyTorch 的 lowering 路径。

  • 3自研注意力内核

    插件负责分页 varlen 内核、M5 NAX prefill 和投机解码等请求感知路径。

  • 4安装方式简单

    提供 Homebrew 和 curl 安装脚本,开发版无需编译器。

  • 5文档较完整

    有独立文档站、按 Mac 内存分类的 recipes 和模型支持矩阵。

适用场景

  • Mac 本地推理服务

    例如:在 Apple Silicon Mac 上启动 vLLM 的 OpenAI 兼容 API 服务,供本地应用调用。

  • 按内存选模型

    例如:参考 recipes 按自己的 Mac 内存挑选能跑起来的模型和量化版本。

  • 桌面端实验

    例如:用 sleep mode 让空闲模型服务归还内存给其他应用,而不必关停服务。

它是怎么工作的

  1. 第 1 步

    上游接管调度

    vLLM 提供 API 服务器、调度器和分页块管理器。

  2. 第 2 步

    模型层来自 mlx_lm

    逐 token 的模型层由 mlx_lm 提供。

  3. 第 3 步

    插件实现注意力

    vllm-metal 负责分页 varlen 内核、M5 NAX prefill 与投机解码。

  4. 第 4 步

    统一 lowering

    把 MLX 与 PyTorch 放到同一条 lowering 路径上执行。

快速上手

  1. 1

    稳定版安装

    通过 Homebrew 安装后直接运行 vllm,无需激活环境。

    brew tap vllm-project/vllm-metal https://github.com/vllm-project/vllm-metal
    brew install vllm-project/vllm-metal/vllm-metal
  2. 2

    开发版安装

    用 curl 脚本安装并激活环境,不需要编译器。

    curl -fsSL https://raw.githubusercontent.com/vllm-project/vllm-metal/main/install.sh | bash
    source ~/.venv-vllm-metal/bin/activate
  3. 3

    查支持模型

    先看 docs/supported_models.md 确认目标模型在支持列表内。

适合谁

  • 使用 Apple Silicon Mac、想在本地跑 vLLM 的开发者
  • 需要 OpenAI 兼容本地推理服务的应用开发者
  • 愿意跟进社区插件、能接受模型支持有限的用户

不太适合

  • 使用 NVIDIA GPU 或 Linux 服务器的用户
  • 要求长期稳定、模型覆盖全面的生产环境

成熟度

  • 活跃度2025 年 12 月创建,最近一次推送在 2026 年 11 月,README 新闻持续更新。
  • 文档有独立文档站、recipes、支持模型矩阵和贡献指南。
  • 社区约 2000 star、359 fork、79 个开放 issue,属中等规模社区。
  • 上手难度Homebrew 与 curl 一键安装,开发版无需编译器,但需 macOS 15 及以上。

同类项目怎么选

  • mlx-lm直接提供 MLX 上的模型推理,不带 vLLM 的调度与分页服务层。
  • llama.cpp跨平台 C++ 推理实现,不依赖 vLLM 生态。
  • Ollama面向开箱即用的本地模型运行与管理,封装程度更高。

使用前注意

  • · 仅支持 Apple Silicon 上的 macOS 15 (Sequoia) 及以上
  • · 模型支持范围有限,使用前需查支持矩阵
  • · 为社区维护的硬件插件,成熟度与稳定性不及上游 vLLM
  • · 桌面推理会与其他应用争抢内存,需留意内存占用

主题标签

apple-siliconllmmacosmetalmlxvllm