#193·LoRA

为什么不在训练期间合并 BA?

作者: rp7sv创建于 2025年3月17日更新于 2026年3月6日

在训练过程中,低秩矩阵会产生一个绕行,从而引入了额外的延迟。那么,为何不在训练过程中将低秩权重直接合并到**_W_** 中,就像我们在推理时所做的那样?我不确定这种做法是否会影响梯度流?