特性: 支持预先计算的图像嵌入
作者: rom1504创建于 2022年5月26日更新于 2022年11月28日
标签new feature
实现这项功能可以有效地训练 Lit 样式的剪辑模型。当有可靠的视觉编码器且目标是将其映射到字幕(例如多语言字幕)时,这非常有用。https://GitHub.com/lucidrains/DALLE2-pytorch/blob/main/train_diffusion_prior.py 提供了一个很好的数据加载器,可用于嵌入和字幕。我们可能会在这方面开展工作,不需要请其他人来完成 :)
内容来源: mlfoundations/open_clip