关于 LISA 的讨论

作者: caoshuai03创建于 2024年5月20日更新于 2025年1月26日

文章中只给出了在 Lora 微调过程中各层平均权重的比较。 1. 如果在微调之前它们的权重不同，会怎样？ 2. 使用加权平均方法，是否可能在中间迭代过程中存在差异？

内容来源: OptimalScale/LMFlow