"TEXTure: 由文本指导的 3D 形状纹理" 的官方实现
摘要 本文介绍了 TEXTure,一种用于基于文本指导的 3D 形状纹理生成、编辑和转换的新方法。利用预训练的深度到图像扩散模型, TEXTure 采用了一种迭代方案,从不同视角为 3D 模型绘制纹理。然而,虽然深度到图像模型可以从单个视角生成合理的纹理,但生成过程的随机性会导致在对整个 3D 对象进行纹理处理时出现许多不一致性。为了解决这些问题,我们动态定义了渲染图像的三个渐进状态的三维映射分区,并提出了一种新的详细的扩散采样过程,该过程使用该三维映射表示从不同视角生成无缝的纹理。然后,我们展示了可以将生成的纹理图像转移到新的 3D 几何体中,而无需明确的表面到表面映射,以及可以从一组图像中提取语义纹理,而无需明确的重建。最后,我们展示了 TEXTure 可以用于不仅生成新的纹理,还可以使用文本提示或用户提供的涂鸦来编辑和优化现有纹理。我们通过广泛的评估证明,我们的 TEXTuring 方法在生成、转移和编辑纹理方面表现优异,并进一步缩小了 2D 图像生成与 3D 纹理处理之间的差距。
暂无开放 Issues，或尚未同步最近议题。