要求添加填充符号,但分词器没有填充符号
作者: gabeweisz创建于 2024年8月8日更新于 2024年11月12日
在最新的提交中,我在运行 run_sample_image.sh 时看到以下错误: ValueError: 要求填充,但标记器没有填充标记。请选择一个标记作为 `pad_token` (例如 tokenizer.pad_token = tokenizer.eos_token),或者通过 `tokenizer.add_special_tokens({'pad_token': '[PAD]'} )` 添加一个新的填充标记。
内容来源: LargeWorldModel/LWM