支持在编码器-解码器注意力(上下文注意力)中嵌入相对位置
作者: frankang创建于 2024年9月11日更新于 2024年9月11日
我正在阅读代码,注意到解码层中的 MultiheadAttention 模块(上下文注意力)的初始化似乎不包括相对位置嵌入参数,而这些参数在自注意力部分中存在。由于相对位置嵌入通常会替换标准的正弦位置编码,我担心编码器-解码器注意力中缺少相对位置嵌入可能会导致不一致性,因为解码器的隐藏状态将缺少理解词语关系的必要位置信息。
内容来源: OpenNMT/OpenNMT-py