AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日
用纯 PyTorch 从零实现 Transformer,走完从数据到对齐推理的完整训练流程。
这是一个教学型开源项目,作者用 PyTorch 手写 Transformer,不依赖 transformers、trl、peft 等库,覆盖从原始文本到分词、预训练、SFT、奖励模型、PPO/DPO/GRPO 对齐、评测和对话的完整链路。仓库还提供一版采用旋转位置编码、RMSNorm、SwiGLU、GQA、MoE、KV Cache 等现代结构的模型,并手写 Muon、LoRA、IPO、SimPO、DAPO、GSPO、投机解码和 int8 权重等训练技巧。
推荐指数
想真正搞懂大模型训练每一步的人,这是少见的端到端可运行教材。
近 7 天
+61
新增 Star
总 Star 排名
#535
雷达追踪的 3,958 个 AI 仓库中
创建于
2025
2025年1月12日
核心亮点
1全流程覆盖
从下载数据、分词、预训练一直做到 SFT、奖励模型、强化学习对齐和评测。
2纯手写实现
不调用 transformers、trl、peft,每个算法都用普通 PyTorch 写出。
3双版本模型
既有原始 Transformer,也有带 RoPE、RMSNorm、SwiGLU、MoE 的现代版本。
4低门槛可跑
无 GPU 也能在笔记本 CPU 上几分钟训练一个小模型,13M 模型可用免费 T4。
5配套完善
有文档站、Streamlit 控制面板、CI、类型检查和 Docker 运行方式。
适用场景
学习 Transformer 原理
例如:按 README 顺序逐节阅读,边跑代码边看每段输出,理解注意力、损失和生成过程。
动手训练小模型
例如:在笔记本 CPU 或免费 Colab T4 上训练 13M 参数模型,观察生成文本的变化。
研究后训练算法
例如:在同一小模型上对比 PPO、DPO、ORPO、KTO、GRPO 的实现和训练效果。
课程或团队教学
例如:用 Streamlit 控制面板演示从数据准备到对话的各个阶段。
它是怎么工作的
第 1 步
准备数据
下载公开文本,分词后以 token 形式存到磁盘。
第 2 步
搭建模型
从 MLP、单头注意力、多头注意力逐块拼出 Transformer 和现代版本。
第 3 步
预训练
用下一 token 预测损失训练基座模型并保存检查点。
第 4 步
后训练对齐
依次做 SFT、训练奖励模型,再用 PPO、DPO、GRPO 等方法优化。
第 5 步
评测与对话
跑基准评测,并通过聊天界面或 Streamlit 面板与模型交互。
快速上手
- 1
安装环境
按 README 的 Setup 章节安装 Python 3.10+ 依赖。
- 2
无 GPU 先跑小模型
跟随“No GPU? Train on Your Laptop”一节,在 CPU 上几分钟完成训练。
- 3
按步骤执行
依次运行数据准备、预训练、生成文本、后训练和评测脚本。
- 4
一键跑全流程
参考“Run the Whole Thing”章节串联全部阶段,也可用 Docker 运行。
适合谁
- 想深入理解 LLM 训练原理的学生
- 需要可复现教学代码的开发者
- 研究后训练与强化学习算法的研究者
不太适合
- 想直接拿现成模型做产品的人
- 没有 Python 和 PyTorch 基础的人
成熟度
- 活跃度2025 年创建,最近一次推送在 2026 年 11 月,仍在更新。
- 文档README 分步讲解并附预期输出,另有独立文档站。
- 社区约 1.3 万 star、1800 多 fork,但开放 issue 仅 1 个。
- 上手难度提供 CPU 小模型路径和 Docker,但完整流程步骤较多,需要 PyTorch 基础。
同类项目怎么选
- nanoGPT同样从零训练 GPT,但聚焦预训练,后训练和对齐算法覆盖少。
- minGPT偏教学的最小实现,流程和工程配套不如本项目完整。
使用前注意
- · 完整训练大模型需要相应显存的 GPU,README 给出了不同显卡的规模参考。
- · 项目以教学为目的,代码可读性优先,不适合直接用于生产训练。
- · 需要具备面向对象、神经网络和 PyTorch 基础,否则阅读门槛较高。
- · 采用 MIT 许可,可自由使用和修改。
