#824·minimind

MiniMind可视化扩展,模型结构、注意力机制和训练流程展示

Author: jaylearnstocodeCreated Aug 27, 2026Updated Aug 31, 2026
您好,首先非常感谢您开源的MiniMind项目。 我在逐行学习MiniMind代码的过程中,做了一份可视化扩展,希望把模型结构、注意力机制和训练流程展示得更直观一些。目前覆盖了模型架构、MoE Block、GQA、RoPE、预训练与微调,以及 DPO、PPO、GRPO 等内容,并针对手机端做了交互和布局适配。 这个项目完全基于MiniMind本身,未包含自己新加的组件,想请教一下:如果您觉得内容合适,是否可以考虑在项目 README 的社区学习资源部分或者 Issues 中的推荐内容合集里,放一条可视化项目链接: https://llm-visualization-minimind.vercel.app/ 手机端展示:

电脑网页端展示: 模型架构 ![模型架构桌面端](https://raw.githubusercontent.com/jaylearnstocode/minimind_line_by_line_study_notes/master/minimind-viz/model-architecture-desktop.png) MoE 专家模型 Block 内部 ![MoE Block 桌面端](https://raw.githubusercontent.com/jaylearnstocode/minimind_line_by_line_study_notes/master/minimind-viz/moe-block-desktop.png) GQA 分组查询 ![GQA 桌面端](https://raw.githubusercontent.com/jaylearnstocode/minimind_line_by_line_study_notes/master/minimind-viz/gqa-desktop.png) RoPE 旋转编码 ![RoPE 桌面端](https://raw.githubusercontent.com/jaylearnstocode/minimind_line_by_line_study_notes/master/minimind-viz/rope-desktop.png) 预训练与微调 ![预训练与微调桌面端](https://raw.githubusercontent.com/jaylearnstocode/minimind_line_by_line_study_notes/master/minimind-viz/pretraining-sft-desktop.png) DPO 对齐 ![DPO 桌面端](https://raw.githubusercontent.com/jaylearnstocode/minimind_line_by_line_study_notes/master/minimind-viz/dpo-desktop.png) PPO 强化 ![PPO 桌面端](https://raw.githubusercontent.com/jaylearnstocode/minimind_line_by_line_study_notes/master/minimind-viz/ppo-desktop.png) GRPO 组相对优化 ![GRPO 桌面端](https://raw.githubusercontent.com/jaylearnstocode/minimind_line_by_line_study_notes/master/minimind-viz/grpo-desktop.png) 感谢您提供这样一个适合学习大模型训练全流程的项目,也欢迎您提出任何修改建议。 此可视化项目fork的项目链接为:https://github.com/jaylearnstocode/minimind_line_by_line_study_notes 其中可视化源文件夹:https://github.com/jaylearnstocode/minimind_line_by_line_study_notes/tree/master/minimind-viz