IST-DASLab GitHub avatar

marlin

Python
4bit 量化推理内核IST-DASLab最近推送 2024年9月4日
模型推理与部署Apache-2.01,1799837 issues7 天 +5

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

一个高度优化的FP16xINT4矩阵乘法内核,用于LLM推理,在批大小16-32内实现接近理想的4倍加速。

Marlin是一个混合自回归线性内核(Mixed Auto-Regressive Linear kernel),专注于LLM推理中的FP16xINT4矩阵乘法。它通过多种GPU优化技术,在批大小达到16-32时仍能保持接近理论极限的4倍加速,适合大规模服务、推测解码等场景。

推荐指数

4.0

对于需要4比特量化推理且批大小在16-32的开发者,这是一个性能接近极限的内核,但需注意GPU架构限制。

近 7 天

+5

新增 Star

总 Star 排名

#3186

雷达追踪的 3,931 个 AI 仓库中

创建于

2024

2024年1月17日

核心亮点

  • 1接近理想加速

    在批大小16-32内实现约4倍加速,优于现有内核在批大小1-2时的表现。

  • 2全面GPU优化

    利用L2缓存、异步加载、双缓冲、指令重排等技术,同时饱和张量核心和向量核心。

  • 3离线权重重排

    量化权重和组缩放因子离线重排为理想访问模式,支持直接反量化到张量核心组织。

  • 4条纹分区方案

    在真实小矩阵和多GPU上保持良好性能,提高SM利用率并减少全局归约。

  • 5自包含CUDA内核

    内核文件marlin_cuda_kernel.cu仅依赖基础CUDA,易于集成到其他底层框架。

适用场景

  • 大规模LLM服务

    例如:在A10 GPU上部署4比特量化的LLM,批大小16-32时保持高吞吐。

  • 推测解码

    例如:使用Marlin内核加速推测解码中的矩阵乘法,提升生成速度。

  • 多推理方案

    例如:在CoT-Majority等高级多推理方案中,利用Marlin处理较大批次的推理请求。

它是怎么工作的

  1. 第 1 步

    权重量化与重排

    将FP16权重离线量化为4比特,并将权重和缩放因子重排为理想内存布局。

  2. 第 2 步

    异步加载与缓存

    全局权重异步加载,激活值常驻L2缓存并在寄存器中复用,减少共享内存瓶颈。

  3. 第 3 步

    双缓冲与指令调度

    共享内存加载使用双缓冲重叠计算,反量化与张量核心指令有序排列以饱和流水线。

  4. 第 4 步

    多warp协作与归约

    多个warp计算同一输出块的部分结果,全局归约在输出缓冲区直接进行。

快速上手

  1. 1

    安装

    在仓库根目录运行pip安装命令。

    pip install .
  2. 2

    转换线性层

    使用marlin.Layer.pack将假量化的torch.Linear层转换为Marlin压缩格式。

  3. 3

    运行测试

    执行正确性测试。

    python test.py
  4. 4

    运行基准

    执行性能基准测试。

    python bench.py

适合谁

  • 需要4比特量化LLM推理的开发者
  • 使用NVIDIA Ampere或Ada架构GPU的用户
  • 希望集成高性能矩阵乘法内核到自定义框架的工程师
  • 研究推测解码或多推理方案的研究人员

不太适合

  • 使用Hopper架构GPU的用户(尚未优化)
  • 需要批大小远大于32的场景
  • 不熟悉CUDA和量化技术的初学者

成熟度

  • 活跃度最后推送于2024年9月,近期活动较少,但仍有issue讨论。
  • 文档README详细介绍了技术、基准和使用方法,但缺少API文档。
  • 社区1178星、98叉,37个开放issue,社区有一定活跃度但不算大。
  • 上手难度需要满足CUDA和GPU架构要求,安装简单但集成需一定CUDA知识。

同类项目怎么选

  • GPTQGPTQ是一种训练后量化方法,提供量化算法和推理内核,而Marlin专注于推理内核优化,可与GPTQ等量化方法结合使用。
  • AWQAWQ是另一种量化方法,侧重于激活感知的权重量化,Marlin是底层内核,不涉及量化算法本身。
  • llm.int8()llm.int8()使用8比特量化,而Marlin针对4比特量化,提供更高的压缩率和加速比。

使用前注意

  • · 需要CUDA >= 11.8且NVIDIA GPU计算能力 >= 8.0(Ampere或Ada),不支持Hopper架构。
  • · 内核针对批大小16-32优化,更大批大小可能无法保持理想加速。
  • · 使用Apache-2.0许可证,允许商业使用,但需保留版权声明。
  • · 量化脚本需要额外依赖transformers、datasets和sentencepiece。

主题标签

4bitkernelllmquantization