AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
轻量级 RWKV 大模型管理与启动工具,自动配置并提供 OpenAI 兼容 API。
RWKV-Runner 是一个用于管理、启动和运行 RWKV 大语言模型的开源工具,体积仅约 8MB。它通过自动化依赖安装和配置降低使用门槛,并内置兼容 OpenAI API 的接口,让现有 ChatGPT 客户端可以直接连接 RWKV 模型。
推荐指数
适合想低成本本地部署 RWKV 并复用 OpenAI 生态的开发者,自动化程度高,但需注意硬件兼容和公网部署安全。
总 Star 排名
#1008
雷达追踪的 3,958 个 AI 仓库中
创建于
2023
2023年5月5日
核心亮点
1体积小巧
可执行程序仅几 MB,自动安装依赖,降低上手门槛。
2OpenAI 兼容 API
启动模型后提供 /chat/completions 等接口,ChatGPT 客户端可直接使用。
3前后端分离
可单独部署后端推理服务、前端 WebUI,或两者同时启动。
4多级显存配置
预设多档显存策略,并支持 WebGPU 在 AMD、Intel 等显卡上运行。
5内置实用工具
包含模型转换、下载管理、LoRA 微调(仅 Windows)和聊天界面。
适用场景
本地体验 RWKV 模型
例如:下载可执行程序后一键启动 RWKV 模型,在自带聊天界面中对话。
替换 OpenAI 客户端后端
例如:在 ChatGPT 客户端设置页填入 http://127.0.0.1:8000 和 API Key,直接使用 RWKV。
服务端部署推理 API
例如:在服务器运行 backend-python/main.py,通过 /switch-model 加载模型后提供 API 服务。
LangChain 嵌入向量
例如:使用 OpenAIEmbeddings(openai_api_base="http://127.0.0.1:8000") 调用 RWKV 的 embeddings 接口。
它是怎么工作的
第 1 步
启动程序
运行轻量客户端或直接启动 Python 后端服务。
第 2 步
自动配置
程序自动安装依赖,并根据硬件选择显存策略。
第 3 步
加载模型
通过界面或 /switch-model API 加载 RWKV 模型文件。
第 4 步
提供接口
启动后暴露兼容 OpenAI 的 HTTP API 和 WebUI。
快速上手
- 1
克隆仓库
获取项目源码。
git clone https://github.com/josStorer/RWKV-Runner - 2
启动后端
运行后端推理服务,之后通过 API 加载模型。
cd RWKV-Runner && python ./backend-python/main.py - 3
同时启动前后端
一条命令启动 WebUI 和推理服务。
python ./backend-python/main.py --webui - 4
查看 API 文档
启动后访问本地文档页了解接口细节。
适合谁
- 想低成本本地运行 RWKV 的开发者
- 需要 OpenAI 兼容接口复用现有客户端的用户
- 希望分离前后端部署推理服务的运维人员
不太适合
- 需要开箱即用云端大模型服务的非技术用户
- 对公网部署安全配置不熟悉的用户
成熟度
- 活跃度最近一次推送在 2026 年 11 月,持续维护中。
- 文档README 含安装、部署示例、API 说明和 FAQ 链接,较完整。
- 社区约 6500 star、594 fork,有 181 个开放 issue,社区有一定活跃度。
- 上手难度提供可执行程序和自动依赖安装,但服务端部署仍需命令行操作。
同类项目怎么选
- OllamaOllama 主要面向多种开源模型的本地运行与管理,RWKV-Runner 专注 RWKV 并提供更细的显存策略和内置 LoRA 微调。
- text-generation-webui后者是更通用的多模型 WebUI,RWKV-Runner 体积更小且针对 RWKV 自动化配置。
使用前注意
- · 公网部署时需通过 API 网关限制请求大小和 max_tokens,防止资源耗尽。
- · 默认启用自定义 CUDA 内核加速,若出现乱码需在配置页关闭或升级显卡驱动。
- · Windows Defender 可能误报,需添加信任或使用旧版自动更新。
- · LoRA 微调功能仅支持 Windows。
