bojieli GitHub avatar

ai-infra-book

Python
AI Infra 开源书bojieli最近推送 2026年10月1日
学习资源Apache-2.08,0816579 issues7 天 +587

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

一本开源书稿,从硬件约束和模型架构出发,量化推导 LLM 推理与训练系统的设计。

《深入理解 AI Infra:量化分析与系统设计》是李博杰所著的开源书稿,含十二章正文、PDF/EPUB、配套计算工具与按章实验。全书用「从约束推导设计」的方法,先列计算、存储、通信和依赖关系,再对照硬件容量、带宽和算力做数量级估算,覆盖加速器、算子运行时、超节点、数据中心网络、推理优化、分布式推理、训练系统、调度与端边云协同。目前仍是初稿,在持续修订。

推荐指数

5.0

想搞清 LLM 为什么慢、成本花在哪里的工程师,值得通读并动手复算。

近 7 天

+587

新增 Star

总 Star 排名

#820

雷达追踪的 3,958 个 AI 仓库中

创建于

2026

2026年8月22日

核心亮点

  • 1量化推导方法

    每章从硬件约束出发做数量级估算,而不是只讲概念。

  • 2配套计算工具

    纯 Python 标准库即可复算书中数字,无需 GPU 或模型权重。

  • 3按章实验

    实验按章节存放,附运行方法、输入条件和结果说明。

  • 4多语言版本

    简体中文原版外,有英文、繁體中文和俄语社区译本。

  • 5持续修订

    书稿为初稿,作者公开征集纠错与改进。

适用场景

  • 推理服务调优

    例如:用 calc.py 估算 Qwen3-8B 在 8192-token prefill 下的逐算子资源需求,定位瓶颈。

  • 系统与网络学习

    例如:按第 5—7 章理解算子融合、超节点和数据中心网络如何影响计算效率。

  • 芯片与体系结构评估

    例如:结合后续章节的任务算例,检查硬件指标如何转化为实际服务能力。

  • 教学与自学

    例如:先读第 1—3 章了解模型与负载,再按兴趣选读后续章节并复算算例。

它是怎么工作的

  1. 第 1 步

    明确任务与质量要求

    先确定要跑什么模型、什么负载、达到什么效果。

  2. 第 2 步

    列出资源约束

    梳理计算量、存储、通信和依赖关系。

  3. 第 3 步

    对照硬件估算

    用容量、带宽和算力做数量级估算,找出物理上限。

  4. 第 4 步

    实测对比上限

    用配套实验测量,差距说明模型漏项或系统有可去掉的开销。

快速上手

  1. 1

    克隆仓库

    仓库用 Git LFS 存大文件,默认跳过,正文与静态计算不受影响。

    git clone https://github.com/bojieli/ai-infra-book.git
  2. 2

    查看支持的模型

    确认计算工具覆盖哪些模型配置。

    python3 calculations/calc.py models
  3. 3

    复算一个算例

    估算 Qwen3-8B 在 8192-token prefill 下的逐算子资源需求。

    python3 calculations/calc.py forward --model qwen3-8b --tokens 8192 --format md
  4. 4

    按需下载实验数据

    复现某个实验时只拉对应目录,避免下载约 20 GB 的 LFS 文件。

    git lfs pull --include="experiments/ch05/05-01/**" --exclude=""

适合谁

  • 调用过模型 API 或本地跑过模型、想弄清性能与成本的开发者
  • 做系统、网络和芯片工作的工程师
  • 相关方向的研究人员和学生

不太适合

  • 完全没有 Python、线性代数和计算机系统基础的初学者
  • 只想找现成部署方案、不关心原理的人

成熟度

  • 活跃度创建于 2026-08,最近一次推送在 2026-10,仍在持续修订。
  • 文档正文、前言、各目录 README 和构建说明齐全,另有 PDF/EPUB 与在线版。
  • 社区约 8000 star、649 fork,仅 9 个开放 issue,并有多个社区翻译版本。
  • 上手难度静态计算只需 Python 3.10+ 标准库;但完整实验需 GPU,仓库 LFS 约 20 GB。

使用前注意

  • · 书稿仍是初稿,内容可能随修订变化,引用时需注明版本。
  • · 仓库使用 Git LFS 保存论文和测量记录,合计约 20 GB,默认不下载。
  • · 部分实验需要 GPU 和特定硬件,没有设备只能阅读已有记录。
  • · 采用 Apache-2.0 许可,转载或商用前请确认许可条款。

主题标签

acceleratorai-infraai-infrastructurebookdatacenter-networkdeepseekdistributed-systemsgpukv-cachellmllm-inferencellm-servingllm-trainingmixture-of-expertsperformance-engineering