对先前模型的无分类器指导

作者: macrohuang1993创建于 2023年4月6日更新于 2024年1月19日

大家好,对于"DiffusionPriorNetwork"的"forward_with_cond_scale"方法: null_logits = self.forward(*args, text_cond_drop_prob=1., image_cond_drop_prob=1, **kwargs)

有人能解释一下为什么我们还通过 image_cond_drop_prob 来丢弃 image_embed 吗?我认为即使在无条件生成时,也应该保留 image_embed,因为这是噪声的 CLIP 图像嵌入,而分类器无需指导时,只需要丢弃用于计算 null_logits 的 text_condition 部分。

内容来源: lucidrains/DALLE2-pytorch