工具介绍
MoCha:无结构指导的端到端视频字符替换
MoCha: 无结构指导的端到端视频字符替换
摘要 由于缺乏合格的配对视频数据,可控的视频角色替换仍然是一个具有挑战性的问题。 之前的研究主要采用了基于重建的模型,依赖于每帧的掩码和明确的结构指导(例如姿态、深度)。 然而,这种依赖使它们在复杂的场景中容易出现问题,例如遮挡、罕见的姿态、角色与物体的交互或复杂的照明,往往会导致视觉效果和时间间歇。 在本文中,我们提出了 MoCha,一种新的框架,它克服了这些限制,只需要一个第一帧的掩码,并通过将不同条件统一为一个单个令牌流来重新渲染角色。 此外,MoCha采用了一个条件感知的 RoPE,以支持多个参考图像和可变长度的视频生成。 为了克服数据瓶颈,我们构建了一个全面的数据合成管线,以收集合格的配对训练视频。 广泛的实验表明,我们的方法明显优于现有的先进方法。
☕ 使用 MoCha 开始