如何微调 jina-clip-v2

亲爱的朋友们,你们真的做了一个伟大的工作,完成了 jina-clip-v2。这是一个支持多语言的预训练模型。由于我希望进一步利用我们自己的领域特定数据来微调模型,但 jina-clip-v2 没有公开的训练代码。因此,我写了一个项目来微调 jina-clip-v2。它现在正在训练中。但我只有一块 4090 GPU 卡,因此我可以设置的最大批量大小是 5。我不确定是否使用 5 这样的小批量大小来计算 CLIP 中的对比损失会对训练结果产生负面影响。如果确实会产生影响,有没有什么好的方法可以在单个 GPU 上实现更大的批量大小呢?这是我的训练代码:https://GitHub.com/tengshaofeng/finetune-jina-clip-v2/blob/main/train_clip.py