理发店:基于 GAN 的图像合成使用分割掩码 (SIGGRAPH Asia 2021)
Barbershop: 使用分割掩膜的基于 GAN 的图像合成
Zhu Peihao, Rameen Abdal, 约翰·费马尼, 彼得温卡
arXiv | BibTeX | 项目页面 | 视频
摘要 无缝地将多张图像中的特征融合在一起是一个极具挑战性的任务,因为光照、几何图形和部分遮挡之间的复杂关系导致了图像不同部分之间的耦合。尽管最近的 GAN 研究已经使得可以合成逼真的头发或脸部,但要将它们融合成一个连贯、合理的图像,而非一个分离的图像片段,仍然是一个难题。我们提出了一种基于 GAN 反演的图像融合的新解决方案,特别是针对发型转换问题。我们提出了一种新的图像融合隐空间,该空间更好地保留细节和编码空间信息,并提出了一种新的 GAN 嵌入算法,该算法能够轻微修改图像,使其符合一个通用的分割掩码。我们的新表示方法使得可以将多个参考图像中的视觉属性(包括像斑和皱纹等特定细节)转移到新图像中,并且由于我们在隐空间中进行图像融合,因此能够合成出连贯的图像。我们的方法避免了其他方法中存在的融合效果,并找到了一个全局一致的图像。我们的结果在用户研究中显示了与当前先进技术相比的显著改进,用户在 95% 的时间都更喜欢我们的融合解决方案。
暂无开放 Issues，或尚未同步最近议题。