AdaLN 中的激活

我想知道 AdaLN 中在线性投影之前添加激活函数的具体原因。除了这个激活函数外，是否还应该在线性投影之后添加特定的激活函数？例如，门的激活函数为 sigmoid，缩放的激活函数为正值，偏移的激活函数为 identity。