AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
腾讯开源的模型压缩工具包,提供量化、推测解码等技术,降低大模型部署成本。
AngelSlim 是腾讯推出的模型压缩工具包,目标是让大模型压缩更易用、更全面、更高效。它涵盖量化(含 FP8、FP4、1.25-bit 等)、推测解码、稀疏注意力、蒸馏等多种技术,支持大语言模型、多模态模型和音频模型,并提供配套文档与模型权重。
推荐指数
功能覆盖广、更新活跃的模型压缩工具箱,适合需要落地推理优化的开发者。
近 7 天
+12
新增 Star
总 Star 排名
#2439
雷达追踪的 3,958 个 AI 仓库中
创建于
2025
2025年7月4日
核心亮点
1压缩技术全面
覆盖量化、推测解码、稀疏注意力、蒸馏等多类压缩与加速手段。
2极低比特量化
提供 2-bit、1.25-bit 等低比特量化方案,并发布对应模型权重。
3推测解码加速
包含 Eagle3、DFly、DFlare 等推测解码训练与部署支持。
4多模型支持
适配 Qwen、DeepSeek、混元等 LLM,以及 VLM、音频和扩散模型。
5文档与生态
有独立文档站、Hugging Face 和 ModelScope 模型页,便于查找资源。
适用场景
大模型推理降本
例如:对 Qwen3 等模型做 FP8 量化,减少显存占用并提升吞吐。
端侧/低资源部署
例如:使用 1.25-bit 量化模型在手机或边缘设备上运行小参数语言模型。
推理速度优化
例如:为现有模型训练 Eagle3 推测解码草稿模型,降低生成延迟。
长上下文加速
例如:用 Stem 稀疏注意力算法加速长文本 Prefill 阶段。
它是怎么工作的
第 1 步
选择压缩方案
根据模型类型和目标(显存、速度、精度)选择量化、推测解码或稀疏注意力等路径。
第 2 步
准备模型与数据
加载 HuggingFace 等格式的原始模型,并准备校准或训练所需数据。
第 3 步
执行压缩流程
运行工具包提供的脚本完成量化、蒸馏或草稿模型训练。
第 4 步
导出与部署
将压缩后的模型导出为 GGUF 等格式,在 llama.cpp 或 vLLM 等推理引擎中部署。
快速上手
- 1
阅读文档
先查看官方文档站,了解功能模块和安装方式。
- 2
安装依赖
按文档说明安装 Python 环境及所需依赖。
- 3
运行示例
从量化或推测解码的示例脚本开始,替换为自己的模型路径。
适合谁
- 需要降低大模型推理成本的算法工程师
- 做模型部署与推理优化的开发者
- 研究量化或推测解码的研究人员
- 希望在端侧运行小模型的产品团队
不太适合
- 只想直接调用现成 API 、不涉及模型改动的开发者
- 没有 GPU 环境或模型训练经验的初学者
成熟度
- 活跃度2025 年创建,最近更新在 2026 年 11 月,新闻持续发布新功能。
- 文档有独立文档站和中文 README,功能页较全,但部分高级用法仍需读源码。
- 社区约 1800 star、197 fork,69 个开放 issue,社区规模中等。
- 上手难度功能多、配置项多,需要一定模型压缩和部署经验才能顺畅使用。
同类项目怎么选
- GPTQ专注训练后量化算法,AngelSlim 覆盖量化、推测解码、蒸馏等多种压缩技术。
- llama.cpp侧重推理引擎与 GGUF 格式部署,AngelSlim 侧重压缩算法与训练流程。
- vLLM是推理服务框架,AngelSlim 的压缩结果可配合 vLLM 等引擎使用。
使用前注意
- · 许可证为 NOASSERTION,使用前需确认具体授权条款。
- · 部分低比特量化与推测解码功能依赖特定 GPU 或推理引擎支持。
- · 压缩可能带来精度损失,需按任务评估效果。
- · 功能迭代快,文档和接口可能随版本变化。
