AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
Medusa 通过给 LLM 加多个解码头来加速生成,无需额外草稿模型。
Medusa 是一个用于加速大语言模型生成的简单框架。它通过在同一个模型上训练多个解码头来同时预测多个未来 token,从而避免引入额外的草稿模型。项目支持 Medusa-1(仅训练新头)和 Medusa-2(全模型训练),并提供自蒸馏方法以便为任意微调模型添加 Medusa。
推荐指数
适合想低成本加速本地 LLM 推理的开发者,但需注意当前仅支持单 GPU 批大小 1。
近 7 天
+1
新增 Star
总 Star 排名
#1853
雷达追踪的 3,958 个 AI 仓库中
创建于
2023
2023年9月10日
核心亮点
1无需草稿模型
直接在原模型上添加解码头,避免额外模型带来的系统复杂性和部署成本。
2参数高效训练
Medusa-1 仅训练新添加的头,对 GPU 资源要求低,适合资源有限的开发者。
3支持非贪婪生成
放宽分布匹配要求,使采样生成也能获得加速,甚至快于贪婪解码。
4自蒸馏支持
可为任意微调后的 LLM 添加 Medusa,无需原始训练数据。
5实测加速明显
在 Vicuna 系列模型上批大小 1 时约 2 倍加速,Medusa-2 报告 2.2-3.6 倍。
适用场景
本地模型部署加速
例如:在单张 GPU 上运行 Vicuna-7B 聊天模型,使用 Medusa 后生成速度提升约 2 倍。
为微调模型添加加速
例如:对已微调的 LLM 使用自蒸馏方法训练 Medusa 头,无需重新准备原始训练数据。
研究推测解码
例如:基于 Medusa 的树状注意力与接受方案,实验不同的解码头配置和训练策略。
它是怎么工作的
第 1 步
添加解码头
在原始 LLM 的最后一层隐藏状态上,并行添加多个解码头,每个头预测未来不同位置的 token。
第 2 步
训练头参数
Medusa-1 仅微调解码头,Medusa-2 可全模型训练,使用特定配方保持原模型性能。
第 3 步
生成候选序列
推理时每个头输出多个可能 token,组合成候选序列。
第 4 步
树状注意力验证
用树状注意力机制并行处理候选序列,通过接受方案选取最长合理前缀。
快速上手
- 1
安装
从源码安装(推荐)或使用 pip 安装。
git clone https://github.com/FasterDecoding/Medusa.git && cd Medusa && pip install -e . - 2
启动推理
使用预训练 Medusa 模型启动 CLI 对话。
CUDA_VISIBLE_DEVICES=0 python -m medusa.inference.cli --model FasterDecoding/medusa-vicuna-7b-v1.3 - 3
量化加载(可选)
可添加 --load-in-8bit 或 --load-in-4bit 降低显存占用。
适合谁
- 需要在单 GPU 上加速本地 LLM 推理的开发者
- 想低成本尝试推测解码技术的研究者
- 已微调 LLM 并希望进一步提速的工程师
不太适合
- 需要多 GPU 或大批量推理的生产环境用户
- 希望开箱即用、无需训练步骤的终端用户
成熟度
- 活跃度最后更新于 2024 年 6 月,近一年无新提交,但已有技术报告和多个版本。
- 文档README 详细,包含安装、推理、训练说明和模型权重链接。
- 社区2776 stars、207 forks,57 个开放 issue,有一定关注度但活跃度一般。
- 上手难度提供 CLI 和预训练模型,但训练和自定义仍需一定技术背景。
同类项目怎么选
- Speculative Decoding需要额外的草稿模型,系统更复杂,但通用性更强。
- vLLM专注于高吞吐推理服务,支持连续批处理和多种优化,Medusa 更聚焦于单序列加速。
使用前注意
- · 当前仅支持单 GPU、批大小 1 的推理,不适合高并发场景。
- · 使用预训练 Medusa 头需匹配对应的基础模型版本。
- · 训练 Medusa 头需要额外数据和计算资源,尽管参数高效。
- · 项目采用 Apache-2.0 许可,商用需遵守许可条款。
