smolGPT

SMOL-GPT

一个最小的 PyTorch 实现,可从头开始训练您自己的小型 LLM。该实现专为教育目的和简洁性而设计,具有高效的训练、快速注意力机制和现代采样技术。

特性 ✨

• 最小代码库：纯 PyTorch 实现，无抽象开销
• 现代架构：GPT 模型，具有：
• 闪光注意力（如果可用）
• RMSNorm 和 SwiGLU
• 高效的 top-k/p/min-p 采样
• 旋转嵌入 - RoPE（可选）
• 训练功能：
• 混合精度（bfloat16/float16）
• 梯度累积
• 学习率衰减与预热
• 权重衰减和梯度裁剪
• 数据集支持：内置 TinyStories 数据集处理
• 自定义词汇表：SentencePiece 词汇表训练集成

选项 1: 全训练周期