而不是在每个步骤中找到频率最高的一对并进行合并,而是找到 N 对频率最高的对。

我已经在其他编程语言中尝试自己实现的 BPE 实现。似乎主要的瓶颈是每次迭代计算对的频率，并合并频率最高的对。我注意到，每次迭代取出前两个频率最高的对并合并它们，对于我来说已经有明显的速度提升，而且没有明显的质量损失。在达到递减收益或质量下降之前，可以将此方法扩展得相当多。