#251·MOSS

为什么 logit 向量的 vocab_size 和实际使用的 vocab.json 大小不一致?

作者: gctian创建于 2023年5月8日更新于 2024年3月12日

vocab.json 中有 106029 个 Token,但模型最终生成的 logit 向量的维度是 107008,为什么不一致呢?这样就会出现一些 token 无法解码的情况。