多功能扩散: 文本、图像和变化,全部融合在一个扩散模型中,arXiv 2022 / ICCV 2023
此仓库托管了以下项目的官方实现:
我们构建了多流多模态扩散框架 Versatile Diffusion (VD),这是迈向通用生成式 AI的重要一步。Versatile Diffusion 原生支持图像到文本、图像变化、文本到图像和文本变化,并且可以进一步扩展到其他应用,如语义风格解耦、图像-文本双向引导生成、隐藏图像到文本到图像编辑等。未来的版本将支持更多模态,如语音、音乐、视频和 3D。
Versatile Diffusion 采用单流模型,其中包含 VAE、扩散器和上下文编码器,因此可以处理一个任务(例如文本到图像)和一个数据类型(例如图像)以及一个上下文类型(例如文本)。Versatile Diffusion 的多流结构如下图所示:
暂无开放 Issues，或尚未同步最近议题。