horovd 是否可以处理比工作节点更多的分片
作者: dr-graviton创建于 2024年3月30日更新于 2025年1月31日
标签wontfix
你好! 我知道在多节点环境中使用 Horovod 时,每个节点应该有专用的分片。根据我的计算节点的大小,我将数据分成 4 个分片 - 根据能够放在我的节点上的最大值。 我想知道是否可以有比节点数量更多的分片? 例如,如果我有 2 个节点,每个节点是否都可以下载和处理具有 4 个分片的数据集? 在我的使用案例中,每个分片都足够大,可以放在单个工作节点上,但我不希望有 4 个节点。 我是否可以使用 2 个工作节点,采用类似轮询的方法来处理分片?
内容来源: horovod/horovod