SafeAILab GitHub avatar

EAGLE

Python
大模型推测解码SafeAILab最近推送 2026年2月20日
模型推理与部署NOASSERTION2,580298104 issues7 天 +3

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

EAGLE 系列推测解码方法官方实现,可无损加速大模型生成。

EAGLE 是 SafeAILab 开源的大语言模型推测解码加速方案,包含 EAGLE-1(ICML'24)、EAGLE-2(EMNLP'24)和 EAGLE-3(NeurIPS'25)三个版本的官方代码。它通过外推模型第二顶层上下文特征向量来提升生成效率,并保证输出分布与原始解码一致。

推荐指数

5.0

推测解码领域经过第三方评测的最快方法之一,版本迭代活跃,已被主流推理框架集成,值得关注推理性能的开发者使用。

近 7 天

+3

新增 Star

总 Star 排名

#1939

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年12月8日

核心亮点

  • 1显著加速

    EAGLE-3 在 13B 模型上比原始解码快 5.6 倍,EAGLE-2 快 4 倍。

  • 2无损生成

    可证明保持与原始解码相同的文本分布,不牺牲输出质量。

  • 3训练成本低

    可在 8 张 RTX 3090 上 1-2 天内完成训练,硬件门槛不高。

  • 4生态集成广

    已合并进 vLLM、SGLang、TensorRT-LLM、NeMo 等主流推理框架。

  • 5持续演进

    从 EAGLE-1 到 EAGLE-3 不断优化,最新版本已支持 LLaMA-4。

适用场景

  • 大模型推理服务加速

    例如:在 vLLM 部署中启用 EAGLE 推测解码,降低 13B 模型生成延迟。

  • 研究推测解码算法

    例如:基于 EAGLE-3 代码复现论文实验,对比不同草稿树策略的效果。

  • 自定义模型微调加速头

    例如:为私有 LLaMA 模型训练 EAGLE 自回归头,提升生成吞吐。

它是怎么工作的

  1. 第 1 步

    特征外推

    利用 LLM 第二顶层上下文特征向量进行外推,预测后续 token。

  2. 第 2 步

    草稿生成

    草稿模型快速生成候选 token 序列(树状结构)。

  3. 第 3 步

    并行验证

    目标模型并行验证候选序列,接受匹配部分。

  4. 第 4 步

    动态调整

    EAGLE-2/3 根据置信度动态调整草稿树结构,提升接受率。

快速上手

  1. 1

    克隆仓库

    获取 EAGLE 代码。

    git clone https://github.com/SafeAILab/EAGLE.git
  2. 2

    创建虚拟环境

    进入目录并创建 Python 虚拟环境。

    cd EAGLE && python -m venv ~/venvs/ea_env && source ~/venvs/ea_env/bin/activate
  3. 3

    安装依赖

    安装 requirements.txt 中的依赖。

    pip install -r requirements.txt
  4. 4

    下载权重并推理

    从 Hugging Face 获取官方 EAGLE-3 权重,按 README 示例运行推理脚本。

适合谁

  • 关注 LLM 推理加速的研究者与工程师
  • 需要部署低延迟大模型服务的开发者
  • 想复现或改进推测解码算法的学生

不太适合

  • 不熟悉 PyTorch 和 LLM 推理的初学者
  • 仅需调用 API 而不关心底层优化的应用开发者

成熟度

  • 活跃度最近更新于 2026 年 2 月,版本迭代至 v3.0.0,持续维护。
  • 文档README 包含安装、推理、训练和评估步骤,但部分细节需参考论文。
  • 社区2578 stars、298 forks,104 个开放 issue,讨论较活跃。
  • 上手难度需要配置 GPU 环境和下载权重,训练流程有一定门槛。

同类项目怎么选

  • Medusa使用多个解码头并行预测,EAGLE 通过特征外推实现更高加速比。
  • Lookahead Decoding基于 Jacobi 迭代并行解码,EAGLE 在第三方评测中速度更快。
  • Speculative Decoding (vanilla)需要独立草稿模型,EAGLE 训练轻量自回归头,成本更低。

使用前注意

  • · 许可证为 NOASSERTION,使用前需确认具体条款。
  • · 训练和推理需要 NVIDIA GPU(如 RTX 3090),显存要求较高。
  • · 官方仅支持特定模型版本,自定义模型需自行训练适配。
  • · 部分新模型(如 Qwen-3)的 EAGLE-3 支持仍在计划中。

主题标签

large-language-modelsllm-inferencespeculative-decoding