`Embedding` 和 `Linear` 层中的 `reset_parameters()` 逻辑混淆
作者: aeryskyB创建于 2025年3月30日更新于 2025年3月30日
问题 1
来源: LoRA/loralib/layers.py
问题: lora_B (而不是 lora_A) 来自正态分布。
问题 2
来源: LoRA/loralib/layers.py
问题: 该注释是误导性的,因为 lora_A 应该采用 Kaiming 初始化,而 lora_B 应该初始化为零。
内容来源: microsoft/LoRA