#194·LoRA

`Embedding` 和 `Linear` 层中的 `reset_parameters()` 逻辑混淆

作者: aeryskyB创建于 2025年3月30日更新于 2025年3月30日

问题 1

Image
来源: LoRA/loralib/layers.py
问题: lora_B (而不是 lora_A) 来自正态分布。

问题 2

Image
来源: LoRA/loralib/layers.py
问题: 该注释是误导性的,因为 lora_A 应该采用 Kaiming 初始化,而 lora_B 应该初始化为零。