Yamz-Labs GitHub avatar

kyojin

Python
本地大模型推理引擎Yamz-Labs最近推送 2026年11月18日
模型推理与部署MIT242395 issues7 天 +7

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

在单台迷你主机或单张显卡上运行百 GB 级开源大模型的推理引擎。

Kyojin 是一个开源 LLM 推理引擎,基于 ExLlamaV3 构建,目标是让 100 GB 级的大模型跑在一台桌面机器上。它支持 AMD ROCm、NVIDIA CUDA 和 Apple MLX 三类硬件,对外提供 OpenAI API 接口,并附带配套的量化模型权重。

推荐指数

4.0

硬件覆盖广、接口标准、有实测速度数据,适合想在本地跑大模型的开发者,但安装需按平台单独编译。

近 7 天

+7

新增 Star

总 Star 排名

#3843

雷达追踪的 3,958 个 AI 仓库中

创建于

2026

2026年10月3日

核心亮点

  • 1单机跑大模型

    宣称可在迷你主机或单张显卡上运行 100 GB 级模型。

  • 2多硬件支持

    覆盖 AMD ROCm、NVIDIA CUDA 与 Apple MLX 三条路径。

  • 3OpenAI 兼容

    所有服务端都提供 OpenAI API,现有客户端可直接接入。

  • 4投机解码

    默认开启投机解码,README 称输出 token 与普通解码一致。

  • 5超长上下文

    README 称最高支持 983K token 上下文,GLM 模型为 500K。

适用场景

  • 本地私有部署

    例如:在 Strix Halo 迷你主机上启动 GLM-5.3-Flash 服务,供内网应用调用。

  • 单卡跑大模型

    例如:在 RTX 3090 上用 4.0bpw 量化包运行 Qwen3.8-27B,开 245K 上下文。

  • Mac 本地推理

    例如:在 Mac Studio M5 Ultra 上通过 MLX 路径运行 DeepSeek V4.1 Flash。

  • 性能对比测试

    例如:用自带 bench.sh 跑分并提交 benchmark 报告。

它是怎么工作的

  1. 第 1 步

    准备硬件环境

    按平台安装 ROCm torch、CUDA 或 MLX 环境,并完成一次编译。

  2. 第 2 步

    下载量化模型

    从 Hugging Face 拉取 EXL3 格式的模型包到本地目录。

  3. 第 3 步

    启动服务

    用对应模型的 serve 脚本加载模型,指定上下文长度等参数。

  4. 第 4 步

    调用接口

    服务端暴露 OpenAI API,用标准 chat/completions 请求调用。

快速上手

  1. 1

    克隆仓库

    获取源码。

    git clone https://github.com/Yamz-Labs/kyojin && cd kyojin
  2. 2

    下载模型

    以 GLM-5.3-Flash 为例拉取量化包。

    hf download yamz-labs/GLM-5.3-Flash-EXL3-Yamz --local-dir ./glm-pack
  3. 3

    启动服务

    在 AMD 平台上启动 OpenAI 兼容服务。

    python tools/glm/serve.py --model ./glm-pack --port 8000 -c 131072 --num-draft 2
  4. 4

    测试调用

    向本地服务发一条对话请求。

    curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{"messages": [{"role": "user", "content": "Say hello in five words."}]}'

适合谁

  • 有单卡或迷你主机、想本地跑大模型的开发者
  • 需要 OpenAI 兼容接口接入现有应用的人
  • 使用 AMD ROCm 或 Apple 芯片、缺少合适推理方案的用户

不太适合

  • 不想折腾编译和环境配置的新手
  • 需要多卡集群或生产级高可用部署的团队

成熟度

  • 活跃度仓库创建于 2026 年 10 月,最近一次推送在 2026 年 11 月,更新频繁。
  • 文档README 有安装、模型和基准文档链接,但安装需跳转多份分平台文档。
  • 社区约 240 star、39 fork、4 个开放 issue,社区规模还小。
  • 上手难度需按平台安装 ROCm/CUDA/MLX 并单独编译,上手门槛偏高。

同类项目怎么选

  • llama.cpp硬件与量化格式覆盖更广、生态更成熟;Kyojin 自称速度约为其 2 倍,但仅基于自身测试。
  • ExLlamaV3Kyojin 的上游基础项目,更偏底层库;Kyojin 在其上提供按模型定制的服务脚本和 OpenAI API。
  • vLLM面向服务端高吞吐与多卡场景;Kyojin 更聚焦单机单卡跑超大模型。

使用前注意

  • · 采用 MIT 许可,商用前仍建议确认模型权重的各自许可。
  • · 不同硬件需分别编译,AMD、NVIDIA、Apple 的安装步骤各不相同。
  • · README 中的速度与上下文数据来自项目自测,实际表现取决于硬件和模型包。
  • · 可选的无审查模式为运行时预设,默认关闭,使用前需了解其行为。

主题标签

amdexl3inferencellmquantizationrocmstrix-haloapple-siliconcudadeepseekexllamav3glmllm-inferencelocal-llmnvidiaopenai-apiqwen