#49252·transformers

使用 tokenizer_class=LlamaTokenizerFast 的自动分词器会默默地为字节级别的 BPE 分词器 json 文件构建一个句子分词流程,从而忽略所有 CJK 输入。

作者: kangzhengyang创建于 2026年10月2日更新于 2026年10月2日
标签bug

System Info

内容来源: huggingface/transformers