工具介绍
一个用于在 GPU 上实现张量/专家并行的快速通信重叠库。
Flux 是一款用于 GPU 上密集型/MoE 模型的通信重叠库，提供高性能且可插拔的内核，支持模型训练/推理中的各种并行方式。Flux 的高效内核与 Pytorch 兼容，可轻松集成到现有框架中，支持各种 Nvidia GPU 架构和数据类型。
资讯 [2025/03/10] 我们发布了 COMET: Computation-communication Overlapping for Mixture-of-Experts。 ## 开始使用 从源代码或 PyPI 安装 Flux。 ### 从源代码安装 以下是在虚拟环境中安装 Flux 的代码片段。 我们将在具有 CUDA 12.4、torch 2.6.0 和 Python 3.11 的虚拟环境中完成安装。