在编码特定字符串时出现恐慌 (栈溢出)
作者: Crazytieguy创建于 2024年1月18日更新于 2026年5月24日
Hi, I'm getting a panic when trying to encode the attached file with the GPT-4 tokenizer. This is from the AMPS dataset that was published along with the MATH dataset. Backtrace:
内容来源: openai/tiktoken