在设置学习率方面的更大灵活性

在当前设置中,相同的学习率应用于文本和图像编码器的非增益或偏置参数。设置这些参数时应该有灵活性。例如, SigLIP 论文 通过禁用图像编码器的权重衰减来获得预训练图像编码器的峰值性能(虽然我不确定是 trunk、head 还是两者)。以下是来自论文的图示,供参考: