CausalSelfAttention 的输出

作者: whchan05创建于 2023年7月6日更新于 2024年5月6日

看起来,该块的输出只是从多个头重新调整了形状。从原始的"Attention is all you need"论文来看,似乎还有另一层线性层,W^O。我可以问一下,这是故意的还是一个错误吗?谢谢

内容来源: karpathy/minGPT