使用ExternalAttention时报错
Author: yy-wyCreated Jul 2, 2021Updated Dec 29, 2025
有人使用时遇到过这个错误吗? RuntimeError: mat1 dim 1 must match mat2 dim 0 程序中关于nn.Linear应该没有问题 (mk): Linear(in_features=576, out_features=8, bias=False) (mv): Linear(in_features=8, out_features=576, bias=False)
另外主干程序使用EAattention没有问题
Source: xmu-xiaoma666/External-Attention-pytorch