Tencent GitHub avatar

AngelSlim

Python
大模型压缩工具Tencent最近推送 2026年11月18日
模型推理与部署NOASSERTION1,80019768 issues7 天 +12

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

腾讯开源的模型压缩工具包,提供量化、推测解码等技术,降低大模型部署成本。

AngelSlim 是腾讯推出的模型压缩工具包,目标是让大模型压缩更易用、更全面、更高效。它涵盖量化(含 FP8、FP4、1.25-bit 等)、推测解码、稀疏注意力、蒸馏等多种技术,支持大语言模型、多模态模型和音频模型,并提供配套文档与模型权重。

推荐指数

4.0

功能覆盖广、更新活跃的模型压缩工具箱,适合需要落地推理优化的开发者。

近 7 天

+12

新增 Star

总 Star 排名

#2439

雷达追踪的 3,958 个 AI 仓库中

创建于

2025

2025年7月4日

核心亮点

  • 1压缩技术全面

    覆盖量化、推测解码、稀疏注意力、蒸馏等多类压缩与加速手段。

  • 2极低比特量化

    提供 2-bit、1.25-bit 等低比特量化方案,并发布对应模型权重。

  • 3推测解码加速

    包含 Eagle3、DFly、DFlare 等推测解码训练与部署支持。

  • 4多模型支持

    适配 Qwen、DeepSeek、混元等 LLM,以及 VLM、音频和扩散模型。

  • 5文档与生态

    有独立文档站、Hugging Face 和 ModelScope 模型页,便于查找资源。

适用场景

  • 大模型推理降本

    例如:对 Qwen3 等模型做 FP8 量化,减少显存占用并提升吞吐。

  • 端侧/低资源部署

    例如:使用 1.25-bit 量化模型在手机或边缘设备上运行小参数语言模型。

  • 推理速度优化

    例如:为现有模型训练 Eagle3 推测解码草稿模型,降低生成延迟。

  • 长上下文加速

    例如:用 Stem 稀疏注意力算法加速长文本 Prefill 阶段。

它是怎么工作的

  1. 第 1 步

    选择压缩方案

    根据模型类型和目标(显存、速度、精度)选择量化、推测解码或稀疏注意力等路径。

  2. 第 2 步

    准备模型与数据

    加载 HuggingFace 等格式的原始模型,并准备校准或训练所需数据。

  3. 第 3 步

    执行压缩流程

    运行工具包提供的脚本完成量化、蒸馏或草稿模型训练。

  4. 第 4 步

    导出与部署

    将压缩后的模型导出为 GGUF 等格式,在 llama.cpp 或 vLLM 等推理引擎中部署。

快速上手

  1. 1

    阅读文档

    先查看官方文档站,了解功能模块和安装方式。

  2. 2

    安装依赖

    按文档说明安装 Python 环境及所需依赖。

  3. 3

    运行示例

    从量化或推测解码的示例脚本开始,替换为自己的模型路径。

适合谁

  • 需要降低大模型推理成本的算法工程师
  • 做模型部署与推理优化的开发者
  • 研究量化或推测解码的研究人员
  • 希望在端侧运行小模型的产品团队

不太适合

  • 只想直接调用现成 API 、不涉及模型改动的开发者
  • 没有 GPU 环境或模型训练经验的初学者

成熟度

  • 活跃度2025 年创建,最近更新在 2026 年 11 月,新闻持续发布新功能。
  • 文档有独立文档站和中文 README,功能页较全,但部分高级用法仍需读源码。
  • 社区约 1800 star、197 fork,69 个开放 issue,社区规模中等。
  • 上手难度功能多、配置项多,需要一定模型压缩和部署经验才能顺畅使用。

同类项目怎么选

  • GPTQ专注训练后量化算法,AngelSlim 覆盖量化、推测解码、蒸馏等多种压缩技术。
  • llama.cpp侧重推理引擎与 GGUF 格式部署,AngelSlim 侧重压缩算法与训练流程。
  • vLLM是推理服务框架,AngelSlim 的压缩结果可配合 vLLM 等引擎使用。

使用前注意

  • · 许可证为 NOASSERTION,使用前需确认具体授权条款。
  • · 部分低比特量化与推测解码功能依赖特定 GPU 或推理引擎支持。
  • · 压缩可能带来精度损失,需按任务评估效果。
  • · 功能迭代快,文档和接口可能随版本变化。

主题标签

llmllm-compressionquantizationspeculative-decodingdiffusionvlmhunyuandeepseekqwenfp4eagleaudiodflash