josStorer GitHub avatar

RWKV-Runner

TypeScript
RWKV 模型运行管理工具josStorer最近推送 2026年11月2日
模型推理与部署MIT6,503595181 issues

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

轻量级 RWKV 大模型管理与启动工具,自动配置并提供 OpenAI 兼容 API。

RWKV-Runner 是一个用于管理、启动和运行 RWKV 大语言模型的开源工具,体积仅约 8MB。它通过自动化依赖安装和配置降低使用门槛,并内置兼容 OpenAI API 的接口,让现有 ChatGPT 客户端可以直接连接 RWKV 模型。

推荐指数

4.0

适合想低成本本地部署 RWKV 并复用 OpenAI 生态的开发者,自动化程度高,但需注意硬件兼容和公网部署安全。

总 Star 排名

#1008

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年5月5日

核心亮点

  • 1体积小巧

    可执行程序仅几 MB,自动安装依赖,降低上手门槛。

  • 2OpenAI 兼容 API

    启动模型后提供 /chat/completions 等接口,ChatGPT 客户端可直接使用。

  • 3前后端分离

    可单独部署后端推理服务、前端 WebUI,或两者同时启动。

  • 4多级显存配置

    预设多档显存策略,并支持 WebGPU 在 AMD、Intel 等显卡上运行。

  • 5内置实用工具

    包含模型转换、下载管理、LoRA 微调(仅 Windows)和聊天界面。

适用场景

  • 本地体验 RWKV 模型

    例如:下载可执行程序后一键启动 RWKV 模型,在自带聊天界面中对话。

  • 替换 OpenAI 客户端后端

    例如:在 ChatGPT 客户端设置页填入 http://127.0.0.1:8000 和 API Key,直接使用 RWKV。

  • 服务端部署推理 API

    例如:在服务器运行 backend-python/main.py,通过 /switch-model 加载模型后提供 API 服务。

  • LangChain 嵌入向量

    例如:使用 OpenAIEmbeddings(openai_api_base="http://127.0.0.1:8000") 调用 RWKV 的 embeddings 接口。

它是怎么工作的

  1. 第 1 步

    启动程序

    运行轻量客户端或直接启动 Python 后端服务。

  2. 第 2 步

    自动配置

    程序自动安装依赖,并根据硬件选择显存策略。

  3. 第 3 步

    加载模型

    通过界面或 /switch-model API 加载 RWKV 模型文件。

  4. 第 4 步

    提供接口

    启动后暴露兼容 OpenAI 的 HTTP API 和 WebUI。

快速上手

  1. 1

    克隆仓库

    获取项目源码。

    git clone https://github.com/josStorer/RWKV-Runner
  2. 2

    启动后端

    运行后端推理服务,之后通过 API 加载模型。

    cd RWKV-Runner && python ./backend-python/main.py
  3. 3

    同时启动前后端

    一条命令启动 WebUI 和推理服务。

    python ./backend-python/main.py --webui
  4. 4

    查看 API 文档

    启动后访问本地文档页了解接口细节。

适合谁

  • 想低成本本地运行 RWKV 的开发者
  • 需要 OpenAI 兼容接口复用现有客户端的用户
  • 希望分离前后端部署推理服务的运维人员

不太适合

  • 需要开箱即用云端大模型服务的非技术用户
  • 对公网部署安全配置不熟悉的用户

成熟度

  • 活跃度最近一次推送在 2026 年 11 月,持续维护中。
  • 文档README 含安装、部署示例、API 说明和 FAQ 链接,较完整。
  • 社区约 6500 star、594 fork,有 181 个开放 issue,社区有一定活跃度。
  • 上手难度提供可执行程序和自动依赖安装,但服务端部署仍需命令行操作。

同类项目怎么选

  • OllamaOllama 主要面向多种开源模型的本地运行与管理,RWKV-Runner 专注 RWKV 并提供更细的显存策略和内置 LoRA 微调。
  • text-generation-webui后者是更通用的多模型 WebUI,RWKV-Runner 体积更小且针对 RWKV 自动化配置。

使用前注意

  • · 公网部署时需通过 API 网关限制请求大小和 max_tokens,防止资源耗尽。
  • · 默认启用自定义 CUDA 内核加速,若出现乱码需在配置页关闭或升级显卡驱动。
  • · Windows Defender 可能误报,需添加信任或使用旧版自动更新。
  • · LoRA 微调功能仅支持 Windows。

主题标签

rwkvapiapi-clientchatgptllmtoolwails