tiktoken 正在计数 OpenAI text-embedding-3-large 的令牌
作者: mattkauffman23创建于 2025年1月9日更新于 2026年5月26日
从 2025 年 1 月 2 日开始,我们在 OpenAI 上创建 text-embedding-3-large 嵌入时开始注意到日志中的错误,我们超过了上下文限制。我认为 OpenAI 方面可能发生了变化,因为我们没有做出相关更改。在一个案例中,我查看了 tiktoken 报告的 7995 个 token,但我们从 OpenAI 接收到以下错误:
内容来源: openai/tiktoken