tiktoken是一款快速的BPE代号器,用于OpenAI的型号.
Tiktoken tiktoken是一个快速的BPE代币,用于OpenAI的模型. Python 导入 tiktoken enc = tiktoken.getencoding ("o200kbase") 声明 enc.decode (enc.encode ("hello world")) = "hello world". 要在 OpenAI API: enc = tiktoken. encoding formodel ("GPT-4o")中获取对应特定型号的代号. 开源版本的tiktoken可以从 PyPI 中安装: pip s安装 tiktoken 表示器 API 以 tiktoken/ core.py 记录. 使用tiktoken的示例代码可见于OpenAI Cookbook. 性能tiktoken快于可比较的开源 代号:使用GPT-2代号对文本1GB上所测的性能,使用GPT2Tokenizer Fast从正号==0.13.2,变压器=4.24.0和tiktoken=0.2.0. 获得帮助 请在问题追踪器中张贴问题。 如果你在OpenAI工作,确保检查内部文件或者觉得可以随意..