inplace_abn

置换激活的 BatchNorm（InPlace-ABN）是一种新的方法，可减少深度网络训练所需的内存。它通过将 BN + 非线性激活重新定义为单个置换操作，同时根据需要智能地删除或重新计算中间缓冲区，可在现代架构（如 ResNet、ResNeXt 和更广泛的 ResNet）中节省高达 50% 的内存。

我们现在还发布了用于语义分割的推理代码,以及经过训练的 Mapillary Vistas 模型,这使得我们在 Mapillary Vistas 语义分割排行榜上排名第一。更多信息请参阅本页底部。

在前向传播中处理 BN-激活-卷积序列时,大多数 深度学习 框架需要存储两个大缓冲区,即 BN 的输入 x 和 Conv 的输入 z。这很有必要,因为 BN 和 Conv 的标准反向传播实现依赖于它们的输入来计算梯度。使用 Inplace-ABN 来替换 BN-激活序列,我们可以安全地丢弃 x,从而在训练时节省高达 50% 的 GPU 内存。为了实现这一点,我们重写了 BN 的反向传播,以其输出 y 为基础,而 y 又通过反转激活函数从 z 中重建出来。

In-Place Activated BatchNorm for Memory-Optimized Training of DNNs