为什么 logit 向量的 vocab_size 和实际使用的 vocab.json 大小不一致?
作者: gctian创建于 2023年5月8日更新于 2024年3月12日
vocab.json 中有 106029 个 Token,但模型最终生成的 logit 向量的维度是 107008,为什么不一致呢?这样就会出现一些 token 无法解码的情况。
内容来源: OpenMOSS/MOSS
vocab.json 中有 106029 个 Token,但模型最终生成的 logit 向量的维度是 107008,为什么不一致呢?这样就会出现一些 token 无法解码的情况。
内容来源: OpenMOSS/MOSS