(NeurIPS 2024 口头报告) 改进分布匹配蒸馏技术,用于快速图像合成
近期的方法表明，将扩散模型提炼为高效的单步生成器具有前景。其中，分布匹配蒸馏（DMD）生成的单步生成器与其教师的分布相匹配，而不需要与其教师的采样轨迹进行一一对应。然而，为了确保稳定的训练，DMD需要使用由教师生成的大量噪声-图像对计算的额外回归损失。这对于大规模的文本到图像合成来说是昂贵的，并且会限制学生模型的质量，使其与教师的原始采样路径过于紧密相关。我们提出了DMD2，这是一组能够消除这一限制并改进DMD训练的技术。首先，我们消除了回归损失和需要构建昂贵的数据集。我们发现，由此导致的不稳定性是由于虚假评判器无法准确估计生成样本的分布，因此我们提出了一种两个时间尺度的更新规则作为补救措施。其次，我们将GAN损失集成到蒸馏过程中，以区分生成样本和真实图像。这使我们能够在真实数据上训练学生模型，减轻教师模型对真实分数估计的不完善，并提高质量。最后，我们修改了训练过程，以支持多步采样。我们确定了一个
暂无开放 Issues，或尚未同步最近议题。