BpeTrainer 为出现零次的对发出合并 (通过 `as u64` 进行负数对数计数的拓展)
作者: Abraham-y创建于 2026年8月7日更新于 2026年9月18日
标签Stale
rank pair true count when merged 0 ('#', '###') 3
内容来源: huggingface/tokenizers
rank pair true count when merged 0 ('#', '###') 3
内容来源: huggingface/tokenizers