transformers 5.12.1 是否真的需要 tokenizers <=0.23.0, >=0.22.0?
作者: jrp2014创建于 2026年6月20日更新于 2026年9月17日
https://GitHub.com/huggingface/tokenizers/releases/tag/v0.23.1 说: tokenizers 0.23.1 是 0.23 系列的第一个正式稳定版本 - 0.23.0 只发布了 rc0,因为发布流程本身出现了问题(Node 端自 2023 年以来就没有发布多平台二进制文件,Python 端使用了 pyo3 0.27,没有支持自由线程)。 0.23.1 是所有内容都一起发布的版本:首次在多年内提供完整的 Node 多平台套件,Python 3.14(普通版和免线程版 3.14t),每个 Python 类的完整类型提示,以及 BPE/添加词汇热路径上的可衡量性能提升。 没有发布功能齐全的 0.23.0 - 我们直接标记 0.23.1,以免用户误引用了从未发布的版本。 那么我们应该有 <0.23 或 <0.24 的上限吗?
内容来源: huggingface/transformers