20B 模型在 2 个 A100 40GB GPU 上的 CUDA 内存不足

作者: seeEssex创建于 2022年4月8日更新于 2026年7月21日

但是，我使用以下设置时遇到了内存不足的错误： `RuntimeError: CUDA out of memory. Tried to allocate 21.12 GiB (GPU 1; …

内容来源: EleutherAI/gpt-neox