扩散特征 (DIFT) 此仓库包含我们在 NeurIPS 2023 论文 "Emergent Correspondence from Image Diffusion" 中的代码。
交互式演示: 来试试吧! 我们提供了一个交互式 jupyter notebook demo.ipynb,用于展示 DIFT 建立的语义对应关系,您可以尝试在自己的图像上! 加载两张图像后,您可以在左侧的源图像上左键单击一个有趣的点,然后经过 1 到 2 秒钟,目标图像上的对应点将在右侧显示为一个红色点,同时还会显示使用 DIFT 计算的每像素余弦距离的热图。以下是猫和吉他的两个示例:
从给定的图像提取 DIFT
您可以使用以下命令 [extract_dift.sh] 来从给定的图像提取 DIFT，并将其保存为 torch 张量。默认情况下，这些参数设置与语义对应任务相同。