关于培训的一些问题

你好,我一直计划训练这个模型,我通过 trc 拥有了一台 tpu pod(v3-128),其 RAM 约为 5 TB, VRAM 约为 2 TB,我有几个问题想请教您,不知道该如何开始训练模型。 1. 适合用于训练的数据集是什么? 我目前正在考虑使用 pile 进行预训练,但收集人工反馈对于 rlhf 来说仍然是一个挑战。 2. 您推荐的模型大小是多少? 3. 我看到了您提到的 flash attention,使用它是否有什么缺点? 因为它似乎是目前最好的注意力机制。