为什么不总是从注意力区块中投射呢?

嘿,为什么 `Attention` 块的输出投影是可选的? 请参阅: https://GitHub.com/lucidrains/vit-pytorch/blob/d47c57e32feae5c5a741a7d3baba3ac70cdb3567/vit_pytorch/vit.py#L33 - 在原始的 Attention is all you need 论文中, `Attention` 块总是有一个输出投影 $W^O$, 如第 3.2.2 节中的未编号方程所示。 - 在 timm 库中,投影也总是应用: 请参阅 https://GitHub.com/huggingface/pytorch-image-models/blob/ae0737f5d098900180c4457845dda35433ab92c0/timm/models/vision_transformer.py#L105