FasterDecoding GitHub avatar

Medusa

Jupyter Notebook
多头解码加速框架FasterDecoding最近推送 2024年6月25日
模型推理与部署Apache-2.02,77620757 issues7 天 +1

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

Medusa 通过给 LLM 加多个解码头来加速生成,无需额外草稿模型。

Medusa 是一个用于加速大语言模型生成的简单框架。它通过在同一个模型上训练多个解码头来同时预测多个未来 token,从而避免引入额外的草稿模型。项目支持 Medusa-1(仅训练新头)和 Medusa-2(全模型训练),并提供自蒸馏方法以便为任意微调模型添加 Medusa。

推荐指数

4.0

适合想低成本加速本地 LLM 推理的开发者,但需注意当前仅支持单 GPU 批大小 1。

近 7 天

+1

新增 Star

总 Star 排名

#1853

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年9月10日

核心亮点

  • 1无需草稿模型

    直接在原模型上添加解码头,避免额外模型带来的系统复杂性和部署成本。

  • 2参数高效训练

    Medusa-1 仅训练新添加的头,对 GPU 资源要求低,适合资源有限的开发者。

  • 3支持非贪婪生成

    放宽分布匹配要求,使采样生成也能获得加速,甚至快于贪婪解码。

  • 4自蒸馏支持

    可为任意微调后的 LLM 添加 Medusa,无需原始训练数据。

  • 5实测加速明显

    在 Vicuna 系列模型上批大小 1 时约 2 倍加速,Medusa-2 报告 2.2-3.6 倍。

适用场景

  • 本地模型部署加速

    例如:在单张 GPU 上运行 Vicuna-7B 聊天模型,使用 Medusa 后生成速度提升约 2 倍。

  • 为微调模型添加加速

    例如:对已微调的 LLM 使用自蒸馏方法训练 Medusa 头,无需重新准备原始训练数据。

  • 研究推测解码

    例如:基于 Medusa 的树状注意力与接受方案,实验不同的解码头配置和训练策略。

它是怎么工作的

  1. 第 1 步

    添加解码头

    在原始 LLM 的最后一层隐藏状态上,并行添加多个解码头,每个头预测未来不同位置的 token。

  2. 第 2 步

    训练头参数

    Medusa-1 仅微调解码头,Medusa-2 可全模型训练,使用特定配方保持原模型性能。

  3. 第 3 步

    生成候选序列

    推理时每个头输出多个可能 token,组合成候选序列。

  4. 第 4 步

    树状注意力验证

    用树状注意力机制并行处理候选序列,通过接受方案选取最长合理前缀。

快速上手

  1. 1

    安装

    从源码安装(推荐)或使用 pip 安装。

    git clone https://github.com/FasterDecoding/Medusa.git && cd Medusa && pip install -e .
  2. 2

    启动推理

    使用预训练 Medusa 模型启动 CLI 对话。

    CUDA_VISIBLE_DEVICES=0 python -m medusa.inference.cli --model FasterDecoding/medusa-vicuna-7b-v1.3
  3. 3

    量化加载(可选)

    可添加 --load-in-8bit 或 --load-in-4bit 降低显存占用。

适合谁

  • 需要在单 GPU 上加速本地 LLM 推理的开发者
  • 想低成本尝试推测解码技术的研究者
  • 已微调 LLM 并希望进一步提速的工程师

不太适合

  • 需要多 GPU 或大批量推理的生产环境用户
  • 希望开箱即用、无需训练步骤的终端用户

成熟度

  • 活跃度最后更新于 2024 年 6 月,近一年无新提交,但已有技术报告和多个版本。
  • 文档README 详细,包含安装、推理、训练说明和模型权重链接。
  • 社区2776 stars、207 forks,57 个开放 issue,有一定关注度但活跃度一般。
  • 上手难度提供 CLI 和预训练模型,但训练和自定义仍需一定技术背景。

同类项目怎么选

  • Speculative Decoding需要额外的草稿模型,系统更复杂,但通用性更强。
  • vLLM专注于高吞吐推理服务,支持连续批处理和多种优化,Medusa 更聚焦于单序列加速。

使用前注意

  • · 当前仅支持单 GPU、批大小 1 的推理,不适合高并发场景。
  • · 使用预训练 Medusa 头需匹配对应的基础模型版本。
  • · 训练 Medusa 头需要额外数据和计算资源,尽管参数高效。
  • · 项目采用 Apache-2.0 许可,商用需遵守许可条款。

主题标签

llmllm-inference