from-minimind-to-more

From Minimind to More

感谢Minimind原作者的无私开源！

深入探索大语言模型：从底层基石到高层架构，从理论原理到工程实践。

项目简介 | Introduction

本项目是我个人基于https://github.com/jingyaogong/minimind 的学习笔记与思考。我从Minimind出发，系统性梳理了其中涉及到的知识点，并附带了相关的其他要点。我希望本项目能够不仅让读者看懂Minimind，更能对大模型的技术体系建立一个全面的insight。

这里不仅包含了我对Minimind用到的技术的详细解析，源码的超详细注释，也整理了面向求职的面试题库。无论你是想深入了解 Minimind 架构与训练的细节，还是准备相关领域的面试，希望这里的内容能最大化减少你到处找资料的次数，并给你带来启发。

当前状态：项目持续更新中，目前主要覆盖架构与基础部分，[优化篇]正在撰写中，[面试篇]已经在小红书更新...

网页对md的解析可能有错误，如遇公式或者图片的问题请下载到本地查看。

---

最近更新 | News

点击展开查看历史更新日志

• 2026-04-17

  • 完成了《算法篇：Minimind的SPO》。前段时间太忙断更了一段时间，现已恢复更新。

• 2026-03-22

  • 面试相关内容已经在小红书更新

  • 最近忙于论文和面试。我会先更新面试相关信息，回头把SPO的算法解析补了。

• 2026-03-05

  • 集中修复了一些描述上的错误，并把《算法篇：Minimind的GRPO》做了改进，优化了其他算法的讲解。

• 2026-02-24

  • 完成了《算法篇：Minimind的GRPO》。包含源码解析以及其他算法变体讲解。

• 2026-02-22

  • 完成了《算法篇：Minimind的PPO》。篇幅较长，请耐心阅读，但你一定能看懂。

• 2026-02-15

  • 最近在过年，可能更新得慢一点，后面会爆肝的

• 2026-02-09:

  • 完成了《算法篇：Minimind的DPO》

• 2026-02-05：

  • 对《基石：关于 Tokenizer 你所需要知道的一切》中的小错误进行了修复

  • 正在更新DPO算法

• 2026-02-04：

  • 完成了《算法篇：大模型强化学习算法概览》

• 2026-02-03：

  • 完成了《算法篇：Minimind的SFT》章节。

• 2026-02-02:

  • 完成了《架构篇：超级拼装》章节。
  • 完成了《算法篇：Minimind的Pretrain》章节。

• 2026-01-30:

  • 初次更新，完成《基石》以及《架构篇》大部分内容。

---

内容导航 | Table of Contents

️ 第一部分：基石与原理 (Foundations)

万丈高楼平地起，这里是理解 LLM 的起点。

• Tokenization：基石：关于 Tokenizer 你所需要知道的一切
• 整体设计：基石：Minimind 的设计目录
• Embeddings：基石：语义的几何与时空的折叠：Embedding与位置编码

️ 第二部分：核心架构 (Architecture)

深入 Transformer 及其变体的内部构造，解析最前沿的模型设计。

• 归一化技术：架构篇：大语言模型归一化技术：原理、演进与前沿架构
• 性能优化：架构篇：最常见的大模型优化方法：从KV Cache到Flash Attention
• 混合专家模型：架构篇：混合专家模型（MoE）：架构演进、核心算法与工程实践
• 搭建我们自己的大模型：架构篇：超级拼装
• (可选阅读)：大规模语言模型推理与训练优化机制

第三部分：算法与演进 (Algorithms) - Updating

本章节正在撰写中，将涵盖预训练算法、微调策略（SFT/RLHF）等核心算法细节。

• 预训练算法：算法篇：Minimind的Pretrain
• SFT算法：算法篇：Minimind的SFT
• 大模型RL算法概览：算法篇：大模型强化学习算法概览
• DPO算法：算法篇：Minimind的DPO
• PPO算法：算法篇：Minimind的PPO
• GRPO算法及其变体（Dr.GRPO,DAPO,GSPO,SAPO,GTPO）：算法篇：Minimind的GRPO及其变体
• SPO算法：算法篇：Minimind的SPO

第四部分：模型优化与压缩 - Coming soon

• LoRA：优化篇：常用LoRA类算法全解
• 知识蒸馏：优化篇：知识蒸馏

第五部分：求职与实战 (Career & Practice)

本章节已完成，讲涵盖我个人对大模型求职的笔记与经验，请移步小红书https://www.xiaohongshu.com/user/profile/6535eb17000000000301f11e查阅。

• 面试八股：大模型八股 100 问
• 面试题库：已经在小红书更新

---

更新计划 | Roadmap

• Phase 1 (Completed): 完成基础组件（Tokenizer, Embeddings）与核心架构（MoE, Normalization, KV Cache）的解析。
• Phase 2 (Completed): 完善 [算法篇]，深入探讨训练机制等算法细节。
• Phase 3 (Completed): 面试相关内容已经在小红书更新。
• Phase 4 (In progress): 完善 [优化篇]，讲解常用大模型训练优化方案

---

交流与致谢

如果你发现文章中有任何错误，或者有更好的见解，欢迎提交 Issue 或 PR。

再次感谢Minimind原作者的无私开源。同时，感谢https://github.com/hans0809/MiniMind-in-Depth ，我从该项目中学到了很多。

我的更多内容，欢迎关注小红书“天上的彤云”