是否使用 coca 加速模型.generate()?
作者: Pclanglais创建于 2023年3月26日更新于 2023年4月18日
我正在基于 coca caption 和 embedding 构建图像分类工作流程。唯一的缺点是速度较慢(在 Google Colab 上每分钟大约 100 张图像)。因此,有两个相关问题:
- 是否可以提取模型.generate() 中计算的 embedding?目前我使用了 encode_image,这基本上是重复的。
- 是否存在一些设置可以提高模型.generate 的速度,但同时牺牲准确性?在当前工作流中,我只需要来自属于同一集群的图像 caption 中的顶层特征词。我并不完全清楚 beamsearch 的工作原理。
内容来源: mlfoundations/open_clip