FareedKhan-dev GitHub avatar

train-llm-from-scratch

Python
大模型训练教程FareedKhan-dev最近推送 2026年11月16日
训练与微调MIT13.3k1,8371 issues7 天 +61

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

用纯 PyTorch 从零实现 Transformer,走完从数据到对齐推理的完整训练流程。

这是一个教学型开源项目,作者用 PyTorch 手写 Transformer,不依赖 transformers、trl、peft 等库,覆盖从原始文本到分词、预训练、SFT、奖励模型、PPO/DPO/GRPO 对齐、评测和对话的完整链路。仓库还提供一版采用旋转位置编码、RMSNorm、SwiGLU、GQA、MoE、KV Cache 等现代结构的模型,并手写 Muon、LoRA、IPO、SimPO、DAPO、GSPO、投机解码和 int8 权重等训练技巧。

推荐指数

5.0

想真正搞懂大模型训练每一步的人,这是少见的端到端可运行教材。

近 7 天

+61

新增 Star

总 Star 排名

#535

雷达追踪的 3,958 个 AI 仓库中

创建于

2025

2025年1月12日

核心亮点

  • 1全流程覆盖

    从下载数据、分词、预训练一直做到 SFT、奖励模型、强化学习对齐和评测。

  • 2纯手写实现

    不调用 transformers、trl、peft,每个算法都用普通 PyTorch 写出。

  • 3双版本模型

    既有原始 Transformer,也有带 RoPE、RMSNorm、SwiGLU、MoE 的现代版本。

  • 4低门槛可跑

    无 GPU 也能在笔记本 CPU 上几分钟训练一个小模型,13M 模型可用免费 T4。

  • 5配套完善

    有文档站、Streamlit 控制面板、CI、类型检查和 Docker 运行方式。

适用场景

  • 学习 Transformer 原理

    例如:按 README 顺序逐节阅读,边跑代码边看每段输出,理解注意力、损失和生成过程。

  • 动手训练小模型

    例如:在笔记本 CPU 或免费 Colab T4 上训练 13M 参数模型,观察生成文本的变化。

  • 研究后训练算法

    例如:在同一小模型上对比 PPO、DPO、ORPO、KTO、GRPO 的实现和训练效果。

  • 课程或团队教学

    例如:用 Streamlit 控制面板演示从数据准备到对话的各个阶段。

它是怎么工作的

  1. 第 1 步

    准备数据

    下载公开文本,分词后以 token 形式存到磁盘。

  2. 第 2 步

    搭建模型

    从 MLP、单头注意力、多头注意力逐块拼出 Transformer 和现代版本。

  3. 第 3 步

    预训练

    用下一 token 预测损失训练基座模型并保存检查点。

  4. 第 4 步

    后训练对齐

    依次做 SFT、训练奖励模型,再用 PPO、DPO、GRPO 等方法优化。

  5. 第 5 步

    评测与对话

    跑基准评测,并通过聊天界面或 Streamlit 面板与模型交互。

快速上手

  1. 1

    安装环境

    按 README 的 Setup 章节安装 Python 3.10+ 依赖。

  2. 2

    无 GPU 先跑小模型

    跟随“No GPU? Train on Your Laptop”一节,在 CPU 上几分钟完成训练。

  3. 3

    按步骤执行

    依次运行数据准备、预训练、生成文本、后训练和评测脚本。

  4. 4

    一键跑全流程

    参考“Run the Whole Thing”章节串联全部阶段,也可用 Docker 运行。

适合谁

  • 想深入理解 LLM 训练原理的学生
  • 需要可复现教学代码的开发者
  • 研究后训练与强化学习算法的研究者

不太适合

  • 想直接拿现成模型做产品的人
  • 没有 Python 和 PyTorch 基础的人

成熟度

  • 活跃度2025 年创建,最近一次推送在 2026 年 11 月,仍在更新。
  • 文档README 分步讲解并附预期输出,另有独立文档站。
  • 社区约 1.3 万 star、1800 多 fork,但开放 issue 仅 1 个。
  • 上手难度提供 CPU 小模型路径和 Docker,但完整流程步骤较多,需要 PyTorch 基础。

同类项目怎么选

  • nanoGPT同样从零训练 GPT,但聚焦预训练,后训练和对齐算法覆盖少。
  • minGPT偏教学的最小实现,流程和工程配套不如本项目完整。

使用前注意

  • · 完整训练大模型需要相应显存的 GPU,README 给出了不同显卡的规模参考。
  • · 项目以教学为目的,代码可读性优先,不适合直接用于生产训练。
  • · 需要具备面向对象、神经网络和 PyTorch 基础,否则阅读门槛较高。
  • · 采用 MIT 许可,可自由使用和修改。

主题标签

geminilarge-language-modelsllmopenaitrainingtransformers