FareedKhan-dev GitHub avatar

kimi-k3-in-c

C
轻量大模型推理引擎FareedKhan-dev最近推送 2026年11月16日
模型推理与部署Apache-2.012.4k1,9156 issues7 天 +575

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

用纯 C99 在单 CPU、8GB 内存上运行 2.78 万亿参数大模型推理。

这是一个用可移植 C99 从零实现的推理引擎,目标是在没有 GPU、没有 BLAS、没有深度学习框架的普通机器上运行 Kimi K3 大模型。它通过流式读取磁盘上的模型权重,把峰值内存控制在 8.24 GB,整个引擎只有 176 KB。

推荐指数

4.0

适合想研究低资源大模型推理实现的人,但实际速度很慢,不适合生产使用。

近 7 天

+575

新增 Star

总 Star 排名

#568

雷达追踪的 3,958 个 AI 仓库中

创建于

2026

2026年8月1日

核心亮点

  • 1极低内存占用

    2.78T 参数模型峰值内存仅 8.24 GB,靠流式读取磁盘实现。

  • 2零依赖纯 C99

    不需要 BLAS、框架或 GPU,引擎代码仅 176 KB。

  • 3跨平台支持

    支持 Linux、macOS、Windows,并有 NEON 移植。

  • 4输出一致

    不同内存配置下输出字节级相同,只有速度变化。

  • 5活跃维护

    已有 2.0.0 版本,社区贡献了多项优化和修复。

适用场景

  • 学习大模型推理原理

    例如:阅读 C 代码理解 MoE、线性注意力、MXFP4 量化在 CPU 上的实现。

  • 低资源环境实验

    例如:在只有 8GB 内存的笔记本上跑通 2.78T 模型,验证可行性。

  • 嵌入式或边缘设备探索

    例如:参考其流式加载和内存管理策略,移植到资源受限设备。

它是怎么工作的

  1. 第 1 步

    模型量化

    使用 MXFP4 等量化格式压缩 1.56 TB 的检查点。

  2. 第 2 步

    流式加载

    每一步推理从磁盘按需读取权重,而非全部载入内存。

  3. 第 3 步

    CPU 计算

    用 C99 和 SIMD(AVX2/NEON)实现 Transformer 和 MoE 前向计算。

  4. 第 4 步

    内存管理

    根据可用 RAM 决定缓存策略,内存越多速度越快。

快速上手

  1. 1

    克隆仓库

    获取源代码。

    git clone https://github.com/FareedKhan-dev/kimi-k3-in-c.git
  2. 2

    编译

    使用 Makefile 编译出可执行文件。

    make
  3. 3

    准备模型

    下载或转换 Kimi K3 的量化检查点(约 1.56 TB)。

  4. 4

    运行推理

    指定模型路径和提示词运行。

适合谁

  • 想深入理解大模型推理底层实现的开发者
  • 需要在无 GPU 环境跑大模型的研究者
  • 对 C 语言和系统编程感兴趣的人

不太适合

  • 需要快速响应的生产应用开发者
  • 不熟悉 C 语言和命令行的普通用户

成熟度

  • 活跃度创建于 2026 年 8 月,最近 2026 年 11 月仍有推送,star 数超 1.2 万。
  • 文档README 详细,有性能数据和贡献者列表,但缺少完整 API 文档。
  • 社区1888 个 fork,4 个开放 issue,有多位贡献者参与移植和优化。
  • 上手难度需要自行准备 1.56 TB 模型文件,推理速度慢(每 token 数秒到数十秒),上手门槛较高。

同类项目怎么选

  • llama.cpp更成熟、支持更多模型和量化格式,但主要面向消费级 GPU/CPU 混合推理,内存需求更高。
  • ggml底层张量库,不是完整推理引擎,需要自行搭建推理逻辑。

使用前注意

  • · 模型检查点约 1.56 TB,需要大容量磁盘和较快的 NVMe 硬盘。
  • · 推理速度很慢,8GB 内存下每 token 约 26.5 秒,不适合交互式使用。
  • · 需要自行获取或转换 Kimi K3 模型权重,README 未提供直接下载链接。
  • · Apache-2.0 许可,商用需遵守许可证条款。

主题标签

avx2c99cpu-inferencedeep-learningfrom-scratchinference-enginekimi-k3linear-attentionllmllm-inferencemachine-learningmemory-efficientmixture-of-expertsmoemxfp4quantizationsimdsystems-programmingtransformerzero-dependencies