`Precompiled` 正则化器与 SentencePiece 不一致: 最短前缀匹配 + 静默丢弃剩余部分会丢弃代码点

pub fn transform(&self, chunk: &str) -> Option<&str> { let results = self.trie.common_prefix_search(chunk.as_bytes()); if results.is_empty() { None } else { …