查询、关键字、值矩阵的定义有误?它们不应具有 bias=True

你好 @karpathy,感谢你的工作! 我注意到,在自注意力矩阵的定义中,你使用了带偏置的线性层,而我并不希望它存在,因为我们只需要矩阵。我指的是: ` self.c_attn = nn.Linear(config.n_embd, 3 * config.n_embd) ` 这是有意的,还是只是一个小bug? 谢谢!