像"A"这样的输入非常缓慢 * 100000
作者: vvolhejn创建于 2023年9月18日更新于 2026年5月24日
我注意到 Tiktoken 对重复字符的字符串非常慢,例如 `"a" * 100_000`。有趣的是,当你添加空格,例如 `"a " * 50_000` 时,性能会提高许多倍:
内容来源: openai/tiktoken
我注意到 Tiktoken 对重复字符的字符串非常慢,例如 `"a" * 100_000`。有趣的是,当你添加空格,例如 `"a " * 50_000` 时,性能会提高许多倍:
内容来源: openai/tiktoken