ECANet

ECA-Net: 高效通道注意力

ECA-Net:深度卷积神经网络的高效通道注意力 这是 Banggu Wu 实现的 ECA-Net(CVPR2020,论文)。

简介 近来,通道注意力机制已证明具有很大的潜力,可以提高深度卷积神经网络( CNN)的性能。然而,大多数现有方法致力于开发更复杂的注意力模块,以实现更好的性能,这不可避免地会增加模型的复杂性。为了克服性能和复杂性之间的矛盾,本文提出了一种高效通道注意力(ECA)模块,该模块仅涉及少量参数,但却带来了明显的性能提升。通过分解 SENet 中的通道注意力模块,我们实证证明,避免降维对于学习通道注意力非常重要,适当的跨通道交互可以保持性能,同时显著降低模型的复杂性。因此,我们提出了一种不进行降维的局部跨通道交互策略,该策略可以通过 1D 卷积高效实现。此外,我们还开发了一种方法,用于自适应选择 1D 卷积的核大小,以确定局部跨通道交互的覆盖范围。所提出的 ECA 模块既高效又有效,例如,与 ResNet50 的主干相比,我们模块的参数和计算量分别为 80 万和 4.7e-4 万亿次浮点运算,而 ResNet50 的主干为 24.37 万和 3.86 万亿次浮点运算。在 Top-1 准确率方面,我们模块的性能提升超过 2%。我们在 ResNets 和 MobileNetV2 的主干上广泛地对我们的 ECA 模块进行了图像分类、目标检测和实例分割的评估。实验结果表明,我们的模块更高效,同时与同类模块相比表现优异。

论文引用