tokenizers · Issues· 219 开放
在 GitHub 打开本地同步的开放议题（评论请到 GitHub 查看）
- #2236
[BUG] | 词汇分析器的文档列表页面出现 404 错误
Stale更新于 2026年9月18日 - #2320
BpeTrainer 为出现零次的对发出合并 (通过 `as u64` 进行负数对数计数的拓展)
Stale更新于 2026年9月18日 - #2412
BertWordPieceTokenizer 在加载词汇表时忽略 wordpieces_prefix
更新于 2026年9月16日 - #2094
[安全性] 加载恶意 tokenizer.json 时，加载时进程被终止（BPE 合并缓冲区溢出）
更新于 2026年9月11日 - #1663
`PreTrainedTokenizerFast` 在带有标记的文本上行为不一致
bug更新于 2026年9月4日 - #1784
添加 cp314t 测试,将扩展模块标记为兼容,并提供无螺纹轮
更新于 2026年9月2日 - #1975
[RFC] 韩国文本分词: Jamo 分解作为前置分词器(构成性字符集的蓝图)
Feature Request更新于 2026年8月25日 - #2334
`Precompiled` 正则化器与 SentencePiece 不一致: 最短前缀匹配 + 静默丢弃剩余部分会丢弃代码点
更新于 2026年8月23日 - #1581
[在 Windows 上构建] onig_sys/oniguruma 声明指定中包含两种或更多种数据类型
更新于 2026年7月30日 - #1973
将 huggingface-hub 设置为可选依赖项（extras）
Feature Request更新于 2026年7月28日 - #2225
[功能/安全性] 支持受信任和不受信任的特殊令牌跨度
更新于 2026年7月21日 - #1791
SyntaxWarning: 无效的转义序列 '\w'
更新于 2026年7月18日 - #2210
EncodingVisualizer: 由标记文本构建的 data-* 属性未进行 HTML 转义 (由 #1937 留下的 XSS 漏洞)
更新于 2026年7月17日 - #1407
如何添加 byte_fallback 令牌?
bytefallbackFeature Request更新于 2026年7月16日 - #1902
指南:在 Android/Termux 上编译 `tokenizers`
更新于 2026年7月14日