sg2im

sg2im

这是论文的代码 从场景图生成图像 Justin Johnson, Agrim Gupta, 李飞飞 在 CVPR 2018 上展示 请注意,这不是 Google 官方支持的产品。 场景图是一个视觉场景的结构化表示,其中节点表示场景中的 对象,边表示对象之间的 关系。在本文中,我们提出了一种端到端的 神经网络 模型,该模型的输入是场景图,输出是图像。

下面我们展示了一些示例场景图以及使用我们的模型生成的图像。通过修改输入场景图,我们可以精细控制生成图像中的对象。如果您在研究中发现此代码很有用,请参考

模型

输入场景图被一个 图卷积网络 处理,该网络沿着边缘传递信息,计算所有对象的嵌入向量。这些向量用于预测所有对象的边界框和分割掩码,这些信息组合成粗略的 场景布局。该布局传递给一个 级联优化网络 (Chen an Koltun, ICCV 2017),该网络在不断增加的空间尺度下生成输出图像。该模型与一对 判别器网络 进行对抗训练,以确保输出图像看起来逼真。

您可以通过运行脚本 bash scripts/download_models.sh 下载预训练模型。