一种用于对黑白图像进行着色的扩散模型
使用扩散模型对黑白图像进行着色。
为了训练模型,我们首先加载彩色图像并将其转换为 LAB。然后,我们只在彩色通道中添加噪声,使 L 通道保持不变。模型可以"免费"获得此通道,因为它不需要学习如何预测灰度图像:在训练和测试时,它始终是已知的。
该模型是一个 UNet，它接受 3 通道的 LAB 输入（真实灰度通道与噪声 AB 通道连接），并输出 2 通道的颜色噪声预测。
这只是一个快速的概念验证,用来满足我的好奇心,并让我对从头开始训练扩散模型有所了解,因此结果非常基础。这个项目可以通过以下方式进行改进: - 使用预训练的面部识别网络,如 ArcFace 或 FaceNet 作为特征提取器,以获取条件特征 - 在嵌入中实现交叉注意力 - 将灰度特征提取器预训练为灰度自编码器的编码器阶段
暂无开放 Issues，或尚未同步最近议题。