RoPE 的指数中缺少一个负号
作者: yijing-sie创建于 2026年9月10日更新于 2026年9月10日
- 文件:
labml_nn/transformers/rope/__init__.py - 行:
95 - 引用: 论文建议使用 $\Theta = {\theta_i = 10000^{\frac{2(i-1)}{d}}, i \in [1, 2, ..., \frac{d}{2}]}$ 来表示 $\frac{d}{2}$ 对特征。
内容来源: labmlai/annotated_deep_learning_paper_implementations