使用 exact_accuracy 0 的全尺度实验

大家好,我们已经用单个 NVIDIA RTX A6000 完成了超过一周的训练。 我们如何运行实验? OMP_NUM_THREADS=8 torchrun --nproc-per-node 1 pretrain.py global_batch_size=16。