#521·tiktoken

tiktoken 0.12 无法在 huggingface 中处理 qwen3.5

作者: jslhcl创建于 2026年4月8日更新于 2026年5月25日

看起来 tiktoken 0.12 无法处理 huggingface 中的 qwen3.5 的分词器。merges.txt 的长度为 247587,总词汇量为 248077,特殊词汇长度为 33。因此,在 load.py 中的 data_gym_to_mergeable_bpe_ranks 函数中,会触发 'assert bpe_ranks == encoder_json_loaded',因为 bpe_ranks 的长度现在为 247587 + 256,不等于 encoder_json_loaded 的长度(248077 - 33)。

内容来源: openai/tiktoken