wise-ft

零样本模型的鲁棒微调

摘要

• 大型预训练模型（如 CLIP 或 ALIGN）在进行零样本推理（即不经过特定数据集的微调）时，在各种数据分布中都能提供一致的准确性。尽管现有的微调方法大幅提高了在分布内的准确性，但它们通常会降低在分布外的鲁棒性。我们通过引入一种简单有效的方法来解决这一矛盾：对零样本和微调模型的权重进行集成（WiSE-FT）。与标准微调相比，WiSE-FT 在分布外提供了更大的准确性提升，同时保持了较高的分布内准确性。在 ImageNet（分布内）和五个衍生的分布偏移中，WiSE-FT 将先前工作的分布外准确性提高了 4 至 6 个百分点，同时将分布内准确性提高了 1.6 个百分点。WiSE-FT 在六个进一步的分布偏移上实现了类似大的鲁棒性提升（2 至 23 个百分点），与在七个常用的迁移学习数据集上进行标准微调相比，分布内准确性提升了 0.8 至 3.3 个百分点。这些提升在微调或推理过程中没有额外的计算成本。*

概述