encode(..., allowed_special="none_raise") 会引发 AssertionError,而不是 ValueError
作者: Mefisto04创建于 2026年8月2日更新于 2026年8月2日
RegexTokenizer.encode() 文档中将 allowed_special="none_raise" 定义为在输入中出现特殊标记时引发错误。实现中使用了 assert:
# minbpe/regex.py:137-139
elif allowed_special == "none_raise":
special = {}
assert all(token not in text for token in self.special_tokens)问题:
- 会引发
AssertionError,而不是ValueError - 在 Python 运行时可通过
-O选项禁用此功能
内容来源: karpathy/minbpe