tiktoken · Issues· 131 开放

其他语言的非官方绑定/端口

高通货膨胀和对孟加拉国孟加拉语的代表性缺失

Tiktoken 教育 BPE 训练师在词汇量为 30k 的情况下需要很长时间才能完成训练

[安全性] 在使用不受信任的编码器进行令牌化时,会导致 Rust 发生崩溃(拒绝服务)

请在仓库中提交您的 Cargo.lock 文件

tiktoken 正在计数 OpenAI text-embedding-3-large 的令牌

tiktoken 0.12 无法在 huggingface 中处理 qwen3.5

CoreBPE::new 具有无约束的 NSE 类型参数,导致正常的下游调用无法进行类型推断

极长的文本会导致 PanicException,在 Python 代码中很难捕获

像"A"这样的输入非常缓慢 * 100000

在编码特定字符串时出现恐慌 (栈溢出)

[错误] tiktoken 0.9.0 忽略了 TIKTOKEN_OFFLINE 和 TIKTOKEN_CACHE_DIR,仍然尝试网络下载

encode_ordinary_batch — 在 32 核心的机箱上出现可重现的多秒钟尾部卡顿 (o200k_base, num_threads=8)

使用可信发布功能上传到 PyPI

当消息中包含工具调用时, tiktoken 和 API 响应之间的令牌数量不一致