连接两个 BPE 分词器

作者: mackmake创建于 2024年2月4日更新于 2024年2月4日

哈啰我在一篇论文中看到,他们结合了两个活字器,其中一个是作者训练的,第二个是预先训练的. 能否在没有培训数据的情况下做到这一点? 如果答案是肯定的,我们应如何正确进行合并?

内容来源: karpathy/minGPT