#115·minbpe

encode(..., allowed_special="none_raise") 会引发 AssertionError,而不是 ValueError

作者: Mefisto04创建于 2026年8月2日更新于 2026年8月2日

RegexTokenizer.encode() 文档中将 allowed_special="none_raise" 定义为在输入中出现特殊标记时引发错误。实现中使用了 assert:

python
# minbpe/regex.py:137-139
elif allowed_special == "none_raise":
    special = {}
    assert all(token not in text for token in self.special_tokens)

问题:

  1. 会引发 AssertionError,而不是 ValueError
  2. 在 Python 运行时可通过 -O 选项禁用此功能

内容来源: karpathy/minbpe