minimind语言模型的预训练权重对应项目中的哪一个权重文件?

Author: guang384Created Oct 8, 2024Updated Oct 8, 2024

3.3 下载minimind语言模型的预训练权重(百度网盘 or HuggingFace),放到./out/ 目录下,命名为*_llm.pth

这个是不是应该对应 minimind项目中的 pretrain_512.pth 重命名即可?

minimind/out ├── multi_chat │ ├── full_sft_512.pth │ ├── full_sft_512_moe.pth │ └── full_sft_768.pth ├── single_chat │ ├── full_sft_512.pth │ ├── full_sft_512_moe.pth │ └── full_sft_768.pth ├── pretrain_768.pth ├── pretrain_512_moe.pth ├── pretrain_512.pth ←