仅使用可用的多个 GPU 中的 1 个

该程序在启动时默认使用 torch.device(0),从该行计算可用的 VRAM,但是,如果有多个 GPU 可用,它们将不会被使用。列出 torch 可发现的设备并适当地拟合模型应该是一个选项,目前尝试在 24Gb 的内存中拟合 sft 和 4b 会失败。