MusePose

MusePose

MusePose：一个用于虚拟人生成的姿态驱动图像到视频框架。

童正言， 李超， 陈兆康， 吴斌†， 周文江 （†通讯作者，[email protected]）

Lyra Lab，Tencent音乐娱乐

GitHub huggingface 空间（即将推出） 项目（即将推出） 技术报告（即将推出）

MusePose 是一个在姿态等控制信号下用于虚拟人生成的图像到视频生成框架。当前发布的模型是通过优化 Moore-AnimateAnyone 对 AnimateAnyone 的实现。

MusePose 是 Muse 开源系列 的最后一个构件。与 MuseV 和 MuseTalk 一起，我们希望社区能够加入我们的行列，朝着一个虚拟人能够以全身运动和交互的本质能力进行端到端生成的愿景前进。请继续关注我们的下一个里程碑！

概述

MusePose 是一种基于扩散的、姿态引导的虚拟人视频生成框架。 我们的主要贡献可以总结如下:

1. 我们发布的模型可以根据给定的姿态序列生成参考图像中人形角色的舞蹈视频。 其结果质量几乎超过同一主题下的所有现有 开源 模型。
2. 我们发布了 pose align 算法,使用户可以将任意舞蹈视频对齐到任意参考图像,这 显著 提高了推理性能