AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
在 CPU 上运行 RWKV 语言模型的 C 库,支持 INT4/INT5/INT8 和 FP16 推理。
rwkv.cpp 是 RWKV 语言模型在 ggml 上的移植实现,提供 C 库和 Python 封装。它支持 FP32、FP16 以及 INT4/INT5/INT8 量化推理,主要面向 CPU,也支持 cuBLAS 和 hipBLAS 加速。
推荐指数
适合想在本地 CPU 上跑 RWKV 模型的开发者,量化选项多,但需自行转换模型。
总 Star 排名
#2630
雷达追踪的 3,958 个 AI 仓库中
创建于
2023
2023年3月30日
核心亮点
1多种量化格式
支持 INT4、INT5、INT8 和 FP16,可在精度和速度间权衡。
2CPU 优先设计
针对 CPU 优化,RWKV 架构本身对长上下文 CPU 推理友好。
3C 库与 Python 封装
提供 rwkv.h 和 Python wrapper,方便集成到不同项目。
4支持多版本 RWKV
兼容 RWKV v4、v5、v6、v7 架构。
5可选 GPU 加速
支持 cuBLAS 和 hipBLAS,可将部分层 offload 到 GPU。
适用场景
本地 CPU 推理
例如:在无独立显卡的笔记本上运行 1.5B 参数的 RWKV 模型进行文本生成。
嵌入式或边缘设备
例如:将量化后的 RWKV 模型集成到 C/C++ 应用中,在资源受限环境运行。
研究量化效果
例如:对比不同量化格式在困惑度和延迟上的表现,选择合适配置。
它是怎么工作的
第 1 步
转换模型
用 Python 脚本将 PyTorch 格式的 RWKV 模型转为 ggml 格式。
第 2 步
量化(可选)
将 FP16 模型进一步量化为 INT4/INT5/INT8 以减小体积、提升速度。
第 3 步
加载推理
通过 C 库或 Python 封装加载模型,执行推理。
快速上手
- 1
克隆仓库
递归克隆包含 ggml 子模块的仓库。
git clone --recursive https://github.com/saharNooby/rwkv.cpp.git - 2
获取库文件
下载预编译库或自行用 CMake 构建。
cmake . && cmake --build . --config Release - 3
转换模型
下载 RWKV 模型并用脚本转换为 ggml 格式。
python python/convert_pytorch_to_ggml.py ~/Downloads/RWKV-4-Pile-169M-20220807-8023.pth ~/Downloads/rwkv.cpp-169M.bin FP16
适合谁
- 需要在 CPU 上运行 RWKV 模型的开发者
- 想尝试不同量化格式对推理影响的用户
- 使用 C/C++ 或 Python 集成语言模型的项目
不太适合
- 期望开箱即用、无需转换模型的用户
- 需要 GPU 全速推理或训练模型的用户
成熟度
- 活跃度最近一次推送在 2025 年 3 月,持续维护。
- 文档README 包含构建、转换、量化步骤和性能表格,较完整。
- 社区约 1.6k star、130 fork,36 个开放 issue,社区规模中等。
- 上手难度需要自行编译或下载库、转换模型,有一定上手门槛。
同类项目怎么选
- llama.cpp主要针对 LLaMA 系列模型,同样基于 ggml,但模型架构和生态不同。
- RWKV-LM官方训练和推理代码,基于 PyTorch,不专注于 CPU 量化推理。
使用前注意
- · 采用 MIT 许可证,可商用。
- · 主要面向 CPU,GPU 加速仅通过 cuBLAS/hipBLAS 部分支持。
- · 使用前需将 PyTorch 模型转换为 ggml 格式,并可选量化。
- · 性能数据基于特定硬件,实际表现需自行测试。
