#1427·bert

对 BERT 中的位置嵌入感到困惑

作者: EvelienDesmedt创建于 2025年3月6日更新于 2025年7月21日

嘿! 我目前正在研究 BERT, 对于位置嵌入有点困惑。 我查阅了许多文章、网站和博客, 但它们似乎都说的是不同的内容。 有些人声称 BERT 使用可学习的位置嵌入, 而其他人则建议它使用与原始 Transformer 模型相同的 sin/cosine 函数。 还有一些来源提到构建位置嵌入的多种方法。 有人能对此作出明确的解释吗? 另外, 如果是可学习的位置嵌入, 能否推荐一些有用的文章? 我自己很难找到任何可靠的参考资料。

内容来源: google-research/bert