返回工具页/返回 Issues 列表

#1975·tokenizers

[RFC] 韩国文本分词: Jamo 分解作为前置分词器(构成性字符集的蓝图)

作者: nicezic创建于 2026年3月22日更新于 2026年8月25日

标签Feature Request

Summary

内容来源: huggingface/tokenizers

查看 GitHub 原文在 GitHub 查看讨论