#251·MOSS

为什么logit向量的 vocab_size和实际使用的vocab.json 的大小不一致?

Author: gctianCreated May 8, 2023Updated Mar 12, 2024

vocab.json中有 106029个 Token,但是模型最终生成的logit向量的维度的 107008,为什么不一致呢?这样就会出现有些 token无法解码吧?