bottom-up-attention-vqa

开源

2017 年 VQA 挑战赛获胜方案的高效 PyTorch 实现。

768 stars0 点赞1 次浏览

工具介绍

2017 年 VQA 挑战赛获胜方案的高效 PyTorch 实现。

视觉问答中的自下而上和自上而下注意力

一个高效的 PyTorch 实现，用于 2017 年 VQA 挑战赛的获胜方案。实现过程遵循“从底向上”方法中描述的 VQA 系统。图像标题生成和视觉问答中的自上而下注意力" (https://arxiv.org/abs/1707.07998) 和"Visual Studio 中的技巧和窍门" 问题回答:从 2017 年挑战赛中汲取的经验" (https://arxiv.org/abs/1708.02711)。

结果

模型	验证准确性	训练时间
所报告的模型	63.15	12 - 18 小时 (Tesla K40)
实现的模型	63.58	40 - 50 分钟 (Titan Xp)
精度的计算使用了 VQA 评估指标。

关于

这是我们在 CMU 为 11-777 课程所做的项目的一部分，也是 Hengyuan Hu、Alex Xiao 和 Henry Huang 的联合工作。作为我们项目的一部分，我们实现了从底向上的注意力，作为一个强大的 VQA 基准。我们计划将目标检测与 VQA 相结合，非常高兴地看到 Peter Anderson 和 Damien Teney 等人已经美妙地完成了这项工作。我们希望这份清晰、高效的实现能够为未来的 VQA 探索提供有用的基准。

我们不使用 Visual Genome 提供的额外数据。 2. 我们每张图像只使用固定数量的对象 (K=36)。 3. 我们使用简单的单流分类器,不进行预训练。 4. 我们使用简单的 ReLU 激活函数,而非带门的 tanh。前两点大大缩短了训练时间。我们的实现在单个 Titan Xp 上每个 epoch 约耗时 200 秒,而文献中描述的实现每个 epoch 耗时 1 小时。第三点只是因为我们认为原文中使用的双流分类器和预训练过于复杂,不必要。

对于非线性激活单元,我们尝试了带门的tanh,但无法使其正常工作。我们还尝试了带门的线性单元(GLU),它的效果要好一些。