论文"一个 Transformer 可适用于多模态扩散中的所有分布"的代码和模型
论文的代码和模型 "One Transformer Fits All Distributions in Multi-Modal Diffusion" UniDiffuser 是一个统一的扩散框架,可用于在一个模型中拟合一组多模态数据中的所有分布。 其关键思想是 - 学习边缘分布、条件分布和联合分布的扩散模型可以被统一为预测扰动数据中的噪声,其中扰动级别(即时间步)对于不同的模态可能不同。 受到统一观点的启发,UniDiffuser 通过对原始扩散模型进行最小修改,同时学习所有分布 - 扰动所有模态的数据,而不是单一模态,输入不同模态的单独时间步,并预测所有模态的噪声,而不是单一模态的噪声。 UniDiffuser 通过一个 Transformer 来参数化扩散模型,以处理不同模态的输入类型。 在大规模配对图像-文本数据上实现后,UniDiffuser 可以通过设置适当的时间步来生成图像、文本、文本到图像、图像到文本和图像-文本对,而无需额外的开销。 特别是,UniDiffuser 在所有任务中都能生成直观逼真样本,其定量结果(例如 FID 和 CLIP 分数)不仅优于现有的通用模型,而且在代表性任务(例如文本到图像生成)中也与定制模型(例如 Stable Diffusion 和 DALL-E 2)相媲美。
暂无开放 Issues，或尚未同步最近议题。