Tiktoken 教育 BPE 训练师在词汇量为 30k 的情况下需要很长时间才能完成训练

你好, 我正在使用自定义数据集(大小 15 GB)和 30k 词汇量来训练 Tiktoken。看起来需要很长时间才能完成。一次词汇更新花费了近 8 个小时。有什么建议可以使其更快吗? 提前感谢。