关于DDP的问题
Author: JacksonHuang127Created Dec 19, 2024Updated Feb 10, 2025
博主你好，你的开源项目对我的帮助很大，然而我最近遇到了一个关于DDP的问题。 我用的显卡是A6000， 单卡运行时没有问题。但是用到多卡时，不管是deepspeed 还是torchrun命令，总是会卡住。我自查了一下，可能是在数据分发阶段出现了堵塞，但是我不知道该怎么解决。想问一下大家有没有遇到过这种问题，是怎么解决的呢？
Source: jingyaogong/minimind-v