PyTorch 的管道并行
在 深度学习 中推进技术的最重要技术之一是扩展。神经网络的常见扩展技术包括 数据并行、_张量/操作并行_和 流水线并行。在许多情况下，特别是流水线并行，可以是一种有效的扩展技术，但通常很难实现，需要对模型代码和难以实现的运行编排代码进行侵入性的代码更改。PiPPy 的目标是提供一个工具包，自动执行这些操作，以便高效地扩展模型。
PiPPy 项目包括用于 PyTorch 模型自动并行和扩展的编译器和运行时栈。目前,PiPPy 专注于 _ 管道并行 _,这是一种技术,其中模型的代码被分割,多个 _ 微批次 _ 同时执行模型代码的不同部分。如需了解更多关于管道并行的信息,请参阅 此文档。
暂无开放 Issues，或尚未同步最近议题。