在错误维度中采用 softmax 时,模型行为异常

https://GitHub.com/karpathy/minGPT/blob/37baab71b9abea1b76ab957409a1cc2fbfba8a26/mingpt/model.py#L64 我无意中将 softmax 维度改为 -2，而不是 -1，在使用 tiny_shakespeare 数据集时，训练和验证集的损失都非常低。然而，从模型生成的结果质量很低。这是什么原因？