jmaczan GitHub avatar

tiny-vllm

C++
迷你 vLLM 推理引擎jmaczan最近推送 2026年11月16日
模型推理与部署Apache-2.01,2001060 issues7 天 +10

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

用 C++ 和 CUDA 从零实现一个精简版 vLLM 推理引擎,并配完整教程。

tiny-vllm 是一个教学性质的开源项目,包含两部分:一个用 C++ 和 CUDA 编写的高性能 LLM 推理服务器完整源码,以及一套带你从零实现该引擎的课程。它被称为 vLLM 的“更小、更年轻的兄弟”,目标是让读者在动手过程中理解推理引擎的原理和数学推导。

推荐指数

4.0

想深入理解 LLM 推理引擎内部机制、愿意动手写 CUDA 的开发者值得一读。

近 7 天

+10

新增 Star

总 Star 排名

#3156

雷达追踪的 3,958 个 AI 仓库中

创建于

2026

2026年2月10日

核心亮点

  • 1源码加课程

    既有可运行的推理服务器源码,也有分章节的配套教程。

  • 2覆盖核心机制

    实现 KV cache、静态与连续批处理、PagedAttention 等关键组件。

  • 3真实模型加载

    支持从 Safetensors 加载 Llama 3.2 1B Instruct 模型。

  • 4计算全在 GPU

    前向传播的各个算子均以 CUDA kernel 实现。

  • 5从零推导

    课程从浮点数、内存讲到 FlashAttention 式在线 softmax。

适用场景

  • 学习推理引擎原理

    例如:按课程章节逐步实现 RMSNorm、RoPE、Attention 等算子。

  • 高校教学

    例如:讲师把仓库作为 GPU 编程或 LLM 系统课程的实践材料。

  • CUDA 工程练手

    例如:开发者通过实现 PagedAttention kernel 熟悉 GPU 算子优化。

它是怎么工作的

  1. 第 1 步

    加载模型

    从 Safetensors 文件读取 Llama 3.2 1B Instruct 的权重。

  2. 第 2 步

    前向计算

    用 CUDA kernel 完成 prefill 与 decode 阶段的全流程计算。

  3. 第 3 步

    缓存 KV

    通过 KV cache 与分页 KV cache 避免重复计算。

  4. 第 4 步

    调度请求

    用静态批处理和连续批处理同时服务多个请求。

  5. 第 5 步

    优化注意力

    采用在线 softmax 与 PagedAttention 提升注意力计算效率。

快速上手

  1. 1

    阅读课程

    从 README 目录开始,按章节顺序学习并实现。

  2. 2

    获取源码

    克隆仓库到本地。

    git clone https://github.com/jmaczan/tiny-vllm.git
  3. 3

    准备环境

    按 README 说明配置 C++ 与 CUDA 编译环境。

  4. 4

    编译运行

    构建推理服务器并加载模型测试。

适合谁

  • 想理解 LLM 推理引擎内部原理的开发者
  • 有 C++ 基础、愿意学 CUDA 的工程师
  • 讲授 GPU 编程或 LLM 系统课程的教师

不太适合

  • 只想直接部署推理服务的用户
  • 不熟悉 C++/CUDA 的初学者

成熟度

  • 活跃度近期仍有推送,issue 数为 0,维护较活跃。
  • 文档README 即完整课程目录,章节覆盖从基础到 PagedAttention。
  • 社区约 1.2k star、100 多 fork,规模中等。
  • 上手难度需要 C++/CUDA 环境和 GPU,上手门槛较高。

同类项目怎么选

  • vLLM生产级推理引擎,功能与性能更完整,本项目是其教学精简版。
  • llama.cpp以 CPU 和量化推理为主,本项目聚焦 CUDA 与批处理机制教学。

使用前注意

  • · 需要支持 CUDA 的 GPU 环境
  • · 面向学习而非生产部署,性能与功能不及 vLLM
  • · 采用 Apache-2.0 许可,商用需遵守许可条款
  • · README 含广告位说明,与项目功能无关

主题标签

aihpcllmllm-inferencevllmtiny-vllmcppcudapagedattentionattentionbatchingcourseinference