Internvl3.5-8b 和 internvl3.5-38b vllm推理乱码
Author: NormanWhcCreated Oct 5, 2025Updated Apr 21, 2026
使用transformers推理正常,但是vllm推理结果都是乱码 是包版本不对吗? 版本如下: vllm: 0.8.4 torch: 2.6.0 flash_attn: 2.7.4.post1
Source: OpenGVLab/InternVL
使用transformers推理正常,但是vllm推理结果都是乱码 是包版本不对吗? 版本如下: vllm: 0.8.4 torch: 2.6.0 flash_attn: 2.7.4.post1
Source: OpenGVLab/InternVL