#475·open_clip

是否使用 coca 加速模型.generate()?

作者: Pclanglais创建于 2023年3月26日更新于 2023年4月18日

我正在基于 coca caption 和 embedding 构建图像分类工作流程。唯一的缺点是速度较慢(在 Google Colab 上每分钟大约 100 张图像)。因此,有两个相关问题:

  • 是否可以提取模型.generate() 中计算的 embedding?目前我使用了 encode_image,这基本上是重复的。
  • 是否存在一些设置可以提高模型.generate 的速度,但同时牺牲准确性?在当前工作流中,我只需要来自属于同一集群的图像 caption 中的顶层特征词。我并不完全清楚 beamsearch 的工作原理。

内容来源: mlfoundations/open_clip