#83·LWM

在前缀标记化过程中移除截断/填充

作者: tsrikris创建于 2024年9月6日更新于 2024年9月6日

在 `lwm/vision_generation.py` 中, 最大输入长度被限制为 128 个字符 `img_enc, img = generate_first_frame(prompts, max_input_length=128)`。在这种情况下, 通过 `scripts/run_sample_image.sh` 提供的任何较长的提示都会被截断为 128 个字符。在此建议您更新 `generate_first_frame` 函数, 使用标记器的 `longest` 填充模式动态设置长度, 而不是进行填充/截断, 即 `inputs = prefix_tokenizer(prompts, padding='longest', return_tensors='np')`。

内容来源: LargeWorldModel/LWM