分享自己学习 MiniMind 源码写的精读笔记

谢谢作者。MiniMind 的源码和训练流程都很完整,我这段时间基本是照着它把 LLM 的全流程学了一遍。 读的时候记了一份笔记 minimind-deep-dive (https://github.com/Enping-Hu/minimind-deep-dive),逐节对着源码讲,每处实现尽量说清楚为什么这么写。不过没只停在「MiniMind 怎么写」:每读完一个组件,我会顺着它延伸到背后的技术脉络,比如从 RMSNorm 讲到归一化的演进、从 GRPO 讲到它的变体家族。 这部分后来越写越多,干脆单独收成了一卷附录。里面既讲 MiniMind 里有、只是没展开的(RoPE 长度外推、KV cache 压缩 MHA→MLA、MoE 演进这些),也补了 MiniMind 没涉及、但进阶绕不开的主题——量化、投机解码、PagedAttention、RLHF 全景、开源模型代际史等。想法是把 MiniMind 当入口而不是终点:只想读懂源码的看主线就够,想再深一层的顺着链接进附录。 另外还做了两件:把 MiniMind2 和 MiniMind-3 逐条做了源码 diff(QK-Norm、去 shared expert、PPO 五模型改四模型、GRPO 默认 CISPO);把各阶段训练用一条 logits→loss→backward 的链串起来对照。各阶段我也在服务器上跑了一遍,曲线和固定 prompt 评测对比记在第 10 章。 笔记目前比较完善了,后面还会随我自己继续学到的东西有少量更新。看到鸣谢里收了一些教程和拆解类的分享,如果合适能不能也放一个?不合适也没关系,放这儿给需要的人参考。