AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
在单台迷你主机或单张显卡上运行百 GB 级开源大模型的推理引擎。
Kyojin 是一个开源 LLM 推理引擎,基于 ExLlamaV3 构建,目标是让 100 GB 级的大模型跑在一台桌面机器上。它支持 AMD ROCm、NVIDIA CUDA 和 Apple MLX 三类硬件,对外提供 OpenAI API 接口,并附带配套的量化模型权重。
推荐指数
硬件覆盖广、接口标准、有实测速度数据,适合想在本地跑大模型的开发者,但安装需按平台单独编译。
近 7 天
+7
新增 Star
总 Star 排名
#3843
雷达追踪的 3,958 个 AI 仓库中
创建于
2026
2026年10月3日
核心亮点
1单机跑大模型
宣称可在迷你主机或单张显卡上运行 100 GB 级模型。
2多硬件支持
覆盖 AMD ROCm、NVIDIA CUDA 与 Apple MLX 三条路径。
3OpenAI 兼容
所有服务端都提供 OpenAI API,现有客户端可直接接入。
4投机解码
默认开启投机解码,README 称输出 token 与普通解码一致。
5超长上下文
README 称最高支持 983K token 上下文,GLM 模型为 500K。
适用场景
本地私有部署
例如:在 Strix Halo 迷你主机上启动 GLM-5.3-Flash 服务,供内网应用调用。
单卡跑大模型
例如:在 RTX 3090 上用 4.0bpw 量化包运行 Qwen3.8-27B,开 245K 上下文。
Mac 本地推理
例如:在 Mac Studio M5 Ultra 上通过 MLX 路径运行 DeepSeek V4.1 Flash。
性能对比测试
例如:用自带 bench.sh 跑分并提交 benchmark 报告。
它是怎么工作的
第 1 步
准备硬件环境
按平台安装 ROCm torch、CUDA 或 MLX 环境,并完成一次编译。
第 2 步
下载量化模型
从 Hugging Face 拉取 EXL3 格式的模型包到本地目录。
第 3 步
启动服务
用对应模型的 serve 脚本加载模型,指定上下文长度等参数。
第 4 步
调用接口
服务端暴露 OpenAI API,用标准 chat/completions 请求调用。
快速上手
- 1
克隆仓库
获取源码。
git clone https://github.com/Yamz-Labs/kyojin && cd kyojin - 2
下载模型
以 GLM-5.3-Flash 为例拉取量化包。
hf download yamz-labs/GLM-5.3-Flash-EXL3-Yamz --local-dir ./glm-pack - 3
启动服务
在 AMD 平台上启动 OpenAI 兼容服务。
python tools/glm/serve.py --model ./glm-pack --port 8000 -c 131072 --num-draft 2 - 4
测试调用
向本地服务发一条对话请求。
curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{"messages": [{"role": "user", "content": "Say hello in five words."}]}'
适合谁
- 有单卡或迷你主机、想本地跑大模型的开发者
- 需要 OpenAI 兼容接口接入现有应用的人
- 使用 AMD ROCm 或 Apple 芯片、缺少合适推理方案的用户
不太适合
- 不想折腾编译和环境配置的新手
- 需要多卡集群或生产级高可用部署的团队
成熟度
- 活跃度仓库创建于 2026 年 10 月,最近一次推送在 2026 年 11 月,更新频繁。
- 文档README 有安装、模型和基准文档链接,但安装需跳转多份分平台文档。
- 社区约 240 star、39 fork、4 个开放 issue,社区规模还小。
- 上手难度需按平台安装 ROCm/CUDA/MLX 并单独编译,上手门槛偏高。
同类项目怎么选
- llama.cpp硬件与量化格式覆盖更广、生态更成熟;Kyojin 自称速度约为其 2 倍,但仅基于自身测试。
- ExLlamaV3Kyojin 的上游基础项目,更偏底层库;Kyojin 在其上提供按模型定制的服务脚本和 OpenAI API。
- vLLM面向服务端高吞吐与多卡场景;Kyojin 更聚焦单机单卡跑超大模型。
使用前注意
- · 采用 MIT 许可,商用前仍建议确认模型权重的各自许可。
- · 不同硬件需分别编译,AMD、NVIDIA、Apple 的安装步骤各不相同。
- · README 中的速度与上下文数据来自项目自测,实际表现取决于硬件和模型包。
- · 可选的无审查模式为运行时预设,默认关闭,使用前需了解其行为。
