AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日
一本开源书稿,从硬件约束和模型架构出发,量化推导 LLM 推理与训练系统的设计。
《深入理解 AI Infra:量化分析与系统设计》是李博杰所著的开源书稿,含十二章正文、PDF/EPUB、配套计算工具与按章实验。全书用「从约束推导设计」的方法,先列计算、存储、通信和依赖关系,再对照硬件容量、带宽和算力做数量级估算,覆盖加速器、算子运行时、超节点、数据中心网络、推理优化、分布式推理、训练系统、调度与端边云协同。目前仍是初稿,在持续修订。
推荐指数
想搞清 LLM 为什么慢、成本花在哪里的工程师,值得通读并动手复算。
近 7 天
+587
新增 Star
总 Star 排名
#820
雷达追踪的 3,958 个 AI 仓库中
创建于
2026
2026年8月22日
核心亮点
1量化推导方法
每章从硬件约束出发做数量级估算,而不是只讲概念。
2配套计算工具
纯 Python 标准库即可复算书中数字,无需 GPU 或模型权重。
3按章实验
实验按章节存放,附运行方法、输入条件和结果说明。
4多语言版本
简体中文原版外,有英文、繁體中文和俄语社区译本。
5持续修订
书稿为初稿,作者公开征集纠错与改进。
适用场景
推理服务调优
例如:用 calc.py 估算 Qwen3-8B 在 8192-token prefill 下的逐算子资源需求,定位瓶颈。
系统与网络学习
例如:按第 5—7 章理解算子融合、超节点和数据中心网络如何影响计算效率。
芯片与体系结构评估
例如:结合后续章节的任务算例,检查硬件指标如何转化为实际服务能力。
教学与自学
例如:先读第 1—3 章了解模型与负载,再按兴趣选读后续章节并复算算例。
它是怎么工作的
第 1 步
明确任务与质量要求
先确定要跑什么模型、什么负载、达到什么效果。
第 2 步
列出资源约束
梳理计算量、存储、通信和依赖关系。
第 3 步
对照硬件估算
用容量、带宽和算力做数量级估算,找出物理上限。
第 4 步
实测对比上限
用配套实验测量,差距说明模型漏项或系统有可去掉的开销。
快速上手
- 1
克隆仓库
仓库用 Git LFS 存大文件,默认跳过,正文与静态计算不受影响。
git clone https://github.com/bojieli/ai-infra-book.git - 2
查看支持的模型
确认计算工具覆盖哪些模型配置。
python3 calculations/calc.py models - 3
复算一个算例
估算 Qwen3-8B 在 8192-token prefill 下的逐算子资源需求。
python3 calculations/calc.py forward --model qwen3-8b --tokens 8192 --format md - 4
按需下载实验数据
复现某个实验时只拉对应目录,避免下载约 20 GB 的 LFS 文件。
git lfs pull --include="experiments/ch05/05-01/**" --exclude=""
适合谁
- 调用过模型 API 或本地跑过模型、想弄清性能与成本的开发者
- 做系统、网络和芯片工作的工程师
- 相关方向的研究人员和学生
不太适合
- 完全没有 Python、线性代数和计算机系统基础的初学者
- 只想找现成部署方案、不关心原理的人
成熟度
- 活跃度创建于 2026-08,最近一次推送在 2026-10,仍在持续修订。
- 文档正文、前言、各目录 README 和构建说明齐全,另有 PDF/EPUB 与在线版。
- 社区约 8000 star、649 fork,仅 9 个开放 issue,并有多个社区翻译版本。
- 上手难度静态计算只需 Python 3.10+ 标准库;但完整实验需 GPU,仓库 LFS 约 20 GB。
使用前注意
- · 书稿仍是初稿,内容可能随修订变化,引用时需注明版本。
- · 仓库使用 Git LFS 保存论文和测量记录,合计约 20 GB,默认不下载。
- · 部分实验需要 GPU 和特定硬件,没有设备只能阅读已有记录。
- · 采用 Apache-2.0 许可,转载或商用前请确认许可条款。
