[ICCV'25] DimensionX: 使用可控的视频扩散,从单张图像创建任意 3D 和 4D 场景
DimensionX: 从单个图像创建任意 3D 和 4D 场景，使用解耦视频扩散（ICCV2025）论文 | 项目页面 | 视频 | 模型检查点
摘要: * 在本文中,我们介绍了 DimensionX,这是一个用于从单个图像中生成逼真 3D 和 4D 场景的框架,并配合视频扩散。我们的方法基于以下观点: 3D 场景的空间结构和 4D 场景的时间演化都可以通过视频帧序列有效地表示。虽然近期的视频扩散模型在生成生动的视觉效果方面取得了显著成就,但由于生成过程中的空间和时间可控性差,它们在直接恢复 3D/4D 场景方面面临限制。为了克服这一困难,我们提出了 ST-Director,该方法通过从维度变化的数据中学习维度感知的指挥官来解耦视频扩散中的空间和时间因素。这种解耦的视频扩散使我们能够精确地操作空间结构和时间动态,从而通过结合空间和时间维度,从序列帧中重建 3D 和 4D 表示。此外,为了弥补生成的视频与真实世界场景之间的差距,我们分别引入了一个基于轨迹的 3D 生成机制和一个保留身份的 4D 去噪策略。在各种真实世界和合成数据集上的广泛实验表明,DimensionX
暂无开放 Issues，或尚未同步最近议题。