集体通信库,包含多种用于多机器训练的基元。
| Gloo 文档 | PyTorch 分布式文档 | Introduction to Gloo Presentation |
--- > 注意: Gloo 已经完成所有功能,目前处于仅维护模式。对于新用例或非 bugfix 更改,请联系维护人员进行讨论。 Gloo 是一个集群通信库。它包含多个适用于 机器学习 应用程序的集群算法，包括屏障、广播和全局归约。在参与机器之间传输数据的过程被抽象化，因此无论何时都可以使用 IP，在可用时则可以使用 InfiniBand（或 RoCE）。在后一种情况下，如果使用 InfiniBand 传输，则可以使用 [GPUDirect][gpudirect] 来加速机器间的 GPU 到 GPU 内存传输。 在适用的情况下，算法有基于系统内存缓冲的实现，以及基于 NVIDIA GPU 内存缓冲的实现。在后者的情况下，无需在主机和设备之间拷贝内存；算法实现会自行处理此操作。 [gpudirect]: https://developer.nvidia.com/gpudirect
暂无开放 Issues，或尚未同步最近议题。