为什么logit向量的 vocab_size和实际使用的vocab.json 的大小不一致?
Author: gctianCreated May 8, 2023Updated Mar 12, 2024
vocab.json中有 106029个 Token,但是模型最终生成的logit向量的维度的 107008,为什么不一致呢?这样就会出现有些 token无法解码吧?
Source: OpenMOSS/MOSS
vocab.json中有 106029个 Token,但是模型最终生成的logit向量的维度的 107008,为什么不一致呢?这样就会出现有些 token无法解码吧?
Source: OpenMOSS/MOSS