"峰值内存使用量"在 CPU 和 MPS 上报告为 0.00MiB

`base_train.py` 和 `chat_sft.py` 都绑定了 get_max_memory = torch.cuda.max_memory_allocated 如果设备类型为 "cuda"，否则为 lambda: 0，并在运行结束时打印它： print0(f"Peak memory usage: {get_max_memory() / 1024 / 1024:.2f}MiB") 因此，在任何非 CUDA 设备上，运行结束时为： Peak memory usage: 0.00MiB Total training time: 0.22m 这来自于未修改的 `master`，在 M4 Max 上， `--depth=6 --max-seq-len=512 --device-batch-size=32`。在一个足够小的机器上，关注内存时，这个数字告诉你下一个 `--depth` 是否适合。