补丁合并与卷积之间的等价关系

你好,在合并补丁部分查看代码后,我们发现将特征切片并连接,然后通过线性层将维度从 4C 减少到 2C 的复杂操作完全等同于一个卷积层,卷积核大小为 2,步长为 2。你所做的操作是将 2x2 补丁中的 4 个像素连接成 1 个像素,但通道增加了四倍。每个 2x2 补丁与线性层中的其他补丁共享相同的权重( self.reduction)。卷积(kernel size=2, stride=2)执行了相同的操作。