使用包含超过 512 个 token 的 RoBERTa
作者: VicenteLavagnino创建于 2025年6月5日更新于 2026年2月13日
标签questionneeds triage
□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□
你的问题是什么?
有没有方法使用序列长于512个符(如2000+)的RoBERTa? 我知道RoBERTA被预先训练了512分的极限 我怀疑是否有官方支持的方法或推荐的变通办法,例如修改位置嵌入或采用滑动窗口方法,
感谢任何建议或实例!
密码
还没有具体守则——只是探讨实施前的可行性。
你试过什么?
我读过一些关于修改最大位置和扩大位置嵌入矩阵的讨论, 但我希望尽量保持全球背景.
内容来源: facebookresearch/fairseq