令牌循环幻觉率高,无响应率高

问题: 模型经常在标记循环部分中产生幻觉。模型经常返回空响应。 重现: 俄语/哈萨克语扫描文本。 可能的解决方案: 1. 为如何使用模型提供更详细的指导,包括设置和预处理步骤。 2. 在合成数据集上微调模型,因为我不知道是否存在可用的已标记的哈萨克/俄语 OCR 数据集。 我尝试将 chandra 仓库代码集成到我的工作流中,并使用了精确的 vllm 设置、请求设置、提示和预处理,但仍然面临着高错误率和幻觉率,这使得该模型在我的语言集中几乎无法在生产环境中使用。 在我的测试集中,我有大约 60 份文档,平均有 5-6 份文档总是存在标记循环幻觉。 1 到 2 份文档始终缺少页面。 我使用的扫描图像质量不错,文本清晰可辨,但模型仍然以相对较高的比率失败。 我也尝试直接发送 PDF 图像,不经过中间转换步骤,希望无损的工作流能够解决问题,但没有成功。 我无法分享具体的文档,因为它们是私有的。 任何帮助都将不胜感激。