[unimim] 位置嵌入不匹配,关于 vit-large/14 的输入分辨率为 196
作者: futureisatyourhand创建于 2022年11月17日更新于 2026年4月4日
你好,对于 CLIP 知识蒸馏论文,即《Masked Image Modeling 的统一视图》:当教师为 CLIP vit-large/14,输入分辨率为 196 时,而学生为 vit-base/16,输入分辨率为 224 时,CLIP 的位置嵌入 (即 257) 和我们的教师的位置嵌入 (即 197) 不一致。我该如何修复以使其与论文保持一致?
内容来源: microsoft/unilm