SyntaxWarning: 无效的转义序列 '\w'
作者: wyattscarpenter创建于 2025年6月4日更新于 2026年7月18日
如果在 `bindings\Python\py_src\tokenizers\pre_tokenizers\__init__.pyi` 中运行某个最新版本(我想是 3.11,可能是 3.12 或更高版本)的 Python 解释器,则会出现以下错误:`525: SyntaxWarning: invalid escape sequence '\w'。` 如果运行一个对该文件进行解释的类型检查器,也会出现同样的错误。这是因为 \w 在 Python 中不是有效的转义字符,而且出现在非原始字符串中。因此,需要将转义字符更改为 `\\w`,或者将字符串转换为原始字符串。我在 https://GitHub.com/huggingface/tokenizers/pull/1764 中已经这样做了,但当时还没有人指出这个文件是自动生成的,不应该被编辑。因此,这里是问题的真实形式,我自己并没有足够的知识来直接解决这个问题:
内容来源: huggingface/tokenizers