注意力图谱可视化

作者: TahaKoleilat创建于 2024年1月15日更新于 2024年1月15日

我如何从 open_clip 模型中获取注意力权重? clip 库中提供了允许注意力权重的选项,只需将 need_weigths 设置为 True,然后注意力权重就会在 model.encode_image 中返回。如何在该库中实现此操作?

内容来源: mlfoundations/open_clip