Unigram 分词器的 CharTrie 占用约 200+ MB 的 RSS (约 166 MB 的 JS 堆) 来处理 XLM-R 规模的词汇表
作者: tfriedel创建于 2026年8月2日更新于 2026年8月2日
Unigram tokenizer 的 CharTrie 耗费了 ~200+ MB RSS (~166 MB JS 堆栈) 用于 XLM-R 规模的词汇表
内容来源: huggingface/transformers.js