RWKV GitHub avatar

rwkv.cpp

C++
RWKV 本地推理引擎RWKV最近推送 2025年3月23日
模型推理与部署MIT1,59113036 issues

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

在 CPU 上运行 RWKV 语言模型的 C 库,支持 INT4/INT5/INT8 和 FP16 推理。

rwkv.cpp 是 RWKV 语言模型在 ggml 上的移植实现,提供 C 库和 Python 封装。它支持 FP32、FP16 以及 INT4/INT5/INT8 量化推理,主要面向 CPU,也支持 cuBLAS 和 hipBLAS 加速。

推荐指数

4.0

适合想在本地 CPU 上跑 RWKV 模型的开发者,量化选项多,但需自行转换模型。

总 Star 排名

#2630

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年3月30日

核心亮点

  • 1多种量化格式

    支持 INT4、INT5、INT8 和 FP16,可在精度和速度间权衡。

  • 2CPU 优先设计

    针对 CPU 优化,RWKV 架构本身对长上下文 CPU 推理友好。

  • 3C 库与 Python 封装

    提供 rwkv.h 和 Python wrapper,方便集成到不同项目。

  • 4支持多版本 RWKV

    兼容 RWKV v4、v5、v6、v7 架构。

  • 5可选 GPU 加速

    支持 cuBLAS 和 hipBLAS,可将部分层 offload 到 GPU。

适用场景

  • 本地 CPU 推理

    例如:在无独立显卡的笔记本上运行 1.5B 参数的 RWKV 模型进行文本生成。

  • 嵌入式或边缘设备

    例如:将量化后的 RWKV 模型集成到 C/C++ 应用中,在资源受限环境运行。

  • 研究量化效果

    例如:对比不同量化格式在困惑度和延迟上的表现,选择合适配置。

它是怎么工作的

  1. 第 1 步

    转换模型

    用 Python 脚本将 PyTorch 格式的 RWKV 模型转为 ggml 格式。

  2. 第 2 步

    量化(可选)

    将 FP16 模型进一步量化为 INT4/INT5/INT8 以减小体积、提升速度。

  3. 第 3 步

    加载推理

    通过 C 库或 Python 封装加载模型,执行推理。

快速上手

  1. 1

    克隆仓库

    递归克隆包含 ggml 子模块的仓库。

    git clone --recursive https://github.com/saharNooby/rwkv.cpp.git
  2. 2

    获取库文件

    下载预编译库或自行用 CMake 构建。

    cmake . && cmake --build . --config Release
  3. 3

    转换模型

    下载 RWKV 模型并用脚本转换为 ggml 格式。

    python python/convert_pytorch_to_ggml.py ~/Downloads/RWKV-4-Pile-169M-20220807-8023.pth ~/Downloads/rwkv.cpp-169M.bin FP16

适合谁

  • 需要在 CPU 上运行 RWKV 模型的开发者
  • 想尝试不同量化格式对推理影响的用户
  • 使用 C/C++ 或 Python 集成语言模型的项目

不太适合

  • 期望开箱即用、无需转换模型的用户
  • 需要 GPU 全速推理或训练模型的用户

成熟度

  • 活跃度最近一次推送在 2025 年 3 月,持续维护。
  • 文档README 包含构建、转换、量化步骤和性能表格,较完整。
  • 社区约 1.6k star、130 fork,36 个开放 issue,社区规模中等。
  • 上手难度需要自行编译或下载库、转换模型,有一定上手门槛。

同类项目怎么选

  • llama.cpp主要针对 LLaMA 系列模型,同样基于 ggml,但模型架构和生态不同。
  • RWKV-LM官方训练和推理代码,基于 PyTorch,不专注于 CPU 量化推理。

使用前注意

  • · 采用 MIT 许可证,可商用。
  • · 主要面向 CPU,GPU 加速仅通过 cuBLAS/hipBLAS 部分支持。
  • · 使用前需将 PyTorch 模型转换为 ggml 格式,并可选量化。
  • · 性能数据基于特定硬件,实际表现需自行测试。

主题标签

deep-learninglanguage-modelllmmachine-learningquantizationrwkvggml