关于 LISA 代码的一些问题

我已经了解了 LISA 的核心代码位于 src\lmflow\pipeline\finetuner.py 中,主要位于 DynamicLayerActivationCallback 类中。我在论文的附录中阅读了算法 1 Layerwise Importance Sampling AdamW (LISA) 部分。 那么步骤 2: 冻结所有层,除了嵌入和语言模型头层是什么意思呢? 我只能在 DynamicLayerActivationCallback 类中找到 def freeze_all_layers(self),而没有排除嵌入和头层。 另外,我对论文中算法 1 中 k 这个符号也很感兴趣: 步骤 4: 使用 ${η_t}_{t=ik}^{ik=k-1}$ 运行 AdamW K 次迭代, k 是否与 K 相同? 我的英文水平不高,如果有理解上的问题,请告诉我。感谢您的回答。