在训练模式下加载检查点后,`lora.Linear.weight` 参数发生变化,导致评估结果不一致

问题摘要

在通过将部分 nn.Linear 层替换为 lora.Linear 来微调模型时，我注意到训练期间的评估结果与加载检查点后的结果不同。更具体地说，在没有进行任何训练的情况下，对检查点执行"加载-推理-保存"循环，会导致 lora.Linear 层的 weight 参数发生变化。lora.Linear 中的 bias 和 lora_A 等其他参数并没有表现出这种行为。