实现自适应批量大小调整,实现优化的分布式训练

在使用 Horovod 进行训练时,用户通常会遇到 GPU 加载不均衡,这会影响性能。自适应批量大小调整可以根据可用资源动态调整批量大小,从而优化节点之间的资源利用率和训练速度。