<|endoftext|> 令牌未正确编码

作者: ttumiel创建于 2024年6月27日更新于 2024年9月28日

python

import torch
from mingpt.bpe import BPETokenizer
tokenizer = BPETokenizer()
print(tokenizer("<|endoftext|>")) # tensor([[  27,   91,  437, 1659, 5239,   91,   29]])
print(tokenizer.decode(torch.tensor([50256]))) # '<|endoftext|>'
print(tokenizer(tokenizer.decode(torch.tensor([50256])))) # tensor([[  27,   91,  437, 1659, 5239,   91,   29]])

内容来源: karpathy/minGPT

查看 GitHub 原文在 GitHub 查看讨论