beyond-nanogpt

Beyond-NanoGPT 是一个最小化且具有教育意义的仓库，旨在将 nanoGPT 和研究级别的 深度学习 连接起来。 该仓库包含了几乎 100 种关键的现代技术的标注和从头开始实现，这些技术都属于前沿的 深度学习，旨在帮助新手学习足够的知识来开始自己进行实验。

该 repo 实现了从 KV 缓存和 LLM 的推测性解码，到视觉转换器和 MLP 混合器等架构；从线性或多隐藏层注意力等注意力变体，到降噪扩散模型和流匹配算法等生成模型；从 PPO、A3C 和 AlphaZero 等地标 RL 论文，到 GPU 通信算法和数据/张量并行等系统基础知识。 **由于所有内容都是手工实现的，代码注释解释了在论文和生产代码库中常常被忽略的细节。

1. 克隆仓库:

   git clone https://github.com/tanishqkumar/beyond-nanogpt.git

1. 获取最小依赖:

   pip install torch numpy torchvision wandb tqdm transformers datasets diffusers matplotlib pillow jupyter gym 

1. 开始学习! 代码是为您仔细阅读、进行编程、然后从头重新实现并与之比较而设计的。您可以通过以下方式运行.py文件。

所有内容都是为在单个 GPU 上运行而编写的。代码具有自文档功能，并附有注释，用于解释和阐述我在实现过程中发现的细节。每个文件的底部都指定了参数。Jupyter 笔记本的目的是逐步进行。