huawei-csl GitHub avatar

MACaQ

C++
通用模型量化工具huawei-csl最近推送 2026年11月17日
模型推理与部署Apache-2.0370226 issues

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

华为开源的模型无关量化工具,支持文本、图像、视频、音频模型,可输出 GGUF 并在 llama.cpp 等后端运行。

MACaQ 是华为 CSL 团队发布的量化项目,主打模型无关的校准量化,覆盖文本、图像、视频和音频模型。它可以把模型量化成 GGUF 格式,并配合 llama.cpp、vLLM、Diffusers 和 PyTorch 进行本地推理。README 称可在 64 分钟内用 32.5 GB 显存量化 122B 参数模型,并提供 MACaQ-R 来精修已有 GGUF 模型。

推荐指数

4.0

量化场景覆盖广、有论文和华为背书,适合需要本地部署多模态模型的开发者尝试。

总 Star 排名

#3753

雷达追踪的 3,958 个 AI 仓库中

创建于

2026

2026年11月10日

核心亮点

  • 1多模态量化

    支持文本、图像、视频、音频模型的量化与推理。

  • 2多后端兼容

    可对接 llama.cpp、vLLM、Diffusers 和 PyTorch。

  • 3低资源量化

    README 称 32.5 GB 显存可在 64 分钟内量化 122B 模型。

  • 4GGUF 精修

    MACaQ-R 可改进已有 GGUF 质量,且兼容标准 llama.cpp。

  • 5昇腾支持

    W4A4 内核已提交到 CANN 相关仓库。

适用场景

  • 本地运行大语言模型

    例如:把 Qwen3-4B 量化成 4-bit GGUF,用 llama.cpp 在笔记本上推理。

  • 图像/视频生成模型压缩

    例如:用 Diffusers 后端量化 FLUX.2 或 Wan2.2 模型,降低显存占用。

  • 语音生成模型部署

    例如:用 PyTorch 后端把 Qwen3-TTS 量化为 W4A4 并生成 WAV 音频。

  • 已有 GGUF 质量提升

    例如:用 MACaQ-R 精修 Qwen3.6-35B-A3B 的 Q4_K_XL GGUF,降低 KL 散度。

它是怎么工作的

  1. 第 1 步

    选择后端

    按模型类型选择 Diffusers、llama.cpp、vLLM 或 PyTorch 后端。

  2. 第 2 步

    准备校准数据

    提供校准文本或条件图像,用于量化时的激活校准。

  3. 第 3 步

    执行量化

    运行对应脚本,将模型权重量化为低比特格式并保存。

  4. 第 4 步

    加载推理

    用对应后端加载量化后的模型进行生成或服务。

快速上手

  1. 1

    创建环境

    使用 Python 3.12,并为每个后端建立独立虚拟环境。

  2. 2

    安装后端依赖

    按所选后端(如 llama.cpp)的 README 安装依赖。

  3. 3

    量化模型

    以 llama.cpp 为例,运行量化脚本生成 GGUF。

  4. 4

    运行推理

    用 llama.cpp 加载量化后的 GGUF 进行生成。

    llama cli -m models/model-macaq-r.gguf

适合谁

  • 需要在本地或私有环境部署多模态模型的开发者
  • 希望用 GGUF 格式在 llama.cpp 上运行模型的用户
  • 关注低比特量化(W4A4)的研究或工程人员
  • 使用昇腾硬件并需要量化内核的开发者

不太适合

  • 只想开箱即用、不愿配置多后端环境的用户
  • 需要成熟稳定生产工具链且不愿跟进新项目的团队

成熟度

  • 活跃度创建于 2026-11-10,最后推送 2026-11-17,近期活跃。
  • 文档README 分后端给出详细指引,并附论文和模型列表。
  • 社区352 星、22 fork、6 个开放 issue,规模尚小。
  • 上手难度需按后端分别配置 Python 3.12 环境,上手有一定门槛。

同类项目怎么选

  • llama.cppllama.cpp 本身是推理运行时,MACaQ 侧重量化并输出可被 llama.cpp 加载的 GGUF。
  • AutoGPTQAutoGPTQ 主要面向 GPTQ 格式的文本模型量化,MACaQ 覆盖多模态且支持 GGUF。
  • llm-compressorllm-compressor 面向 vLLM 生态的压缩,MACaQ 同时支持 llama.cpp、Diffusers 和 PyTorch。

使用前注意

  • · 采用 Apache-2.0 许可,商用需保留版权与许可声明。
  • · 不同后端需要独立环境,且部分后端依赖特定硬件或运行时。
  • · 昇腾支持目前以内核 PR 形式提供,完整模型执行需自行集成推理运行时。
  • · README 中的性能数据来自项目方测试,实际效果可能因模型和硬件而异。

主题标签

ascendaudioaudio-generationdiffusersggufgguf-quantizationimage-generationllmlocal-ailocal-inferencequantizationvideo-generationvllmllama-cpp