parallelformers

• Parallelformers 基于 Megatron LM,旨在使模型并行化更加容易。 - 您可以在 HuggingFace Transformers 中使用 单行代码 在多个 GPU 上并行各种模型。 - 目前,Parallelformers 仅支持推理。 训练功能不包括在内。

为什么要使用 Parallelformers?

您可以加载一个大小超出单个 GPU 容量的模型。例如,使用 Parallelformers,您可以在两个 8GB 的 GPU 上加载 12GB 的模型。此外,您还可以节省宝贵的资金,因为通常多个小型 GPU 的成本要低于单个大型 GPU。

开始使用