OutOfMemoryError

我在推理期间出现 OOM 错误,但在训练期间没有出现此错误。即使批量大小为 1,甚至增加 GPU 内存时也会出现此问题。`torch.cuda.OutOfMemoryError: CUDA 无法分配内存。尝试分配 11.25 GiB (GPU 0; 44.42 GiB 总容量; 36.96 GiB 已分配; 3.95 GiB 可用; 38.83 GiB 总共由 PyTorch 保留) 如果保留的内存 > 分配的内存,请设置 max_split_size_mb 以避免碎片化。请参阅文档中的内存管理和 PYTORCH_CUDA_ALLOC_CONF 相关信息。` 我认为这不是 OOM 问题,而是训练器在增加保留内存时出现了问题。