在使用 MiniGPT-4 (Vicuna-7B) 重现结果时, CHAIR 指标存在显著差异

你好，感谢你在该项目上做出的伟大工作！ 目前，我正在尝试使用 MiniGPT-4 和 Vicuna-7B 后端重现 CHAIR 评估指标，但我发现报告的指标与我本地设置获得的结果之间存在明显差异。 **预期指标：** - CHAIRs = 28.6 - CHAIRi = 8.5 - F1 = 71.5 **我重现的指标：** - CHAIRs = 36.0 - CHAIRi = 14.5 - F1 = 62.2 **我们的环境：** - GPU：NVIDIA RTX 5090 - 模型：MiniGPT-4（Vicuna-7B） - 操作系统：Linux（Ubuntu） - CUDA 版本：13.0 **我遵循的步骤：** 1. 根据官方说明在本地设置 MiniGPT-4 模型。 2. 运行 CHAIR 评估管线。 3. 将结果指标与预期值进行比较。 这两者之间的差异非常明显 - CHAIRs 增加了约 7.4 个点，CHAIRi 几乎翻了一番，F1 降低了约 9.3 个点。 我非常感谢您能提供任何指导，帮助我们解决这个问题。 具体来说，我有以下疑问： 1. 是否应该使用特定的模型检查点或配置文件？ 2. 与较新的 GPU 架构（例如 RTX 5090 / Blackwell）是否存在已知的兼容性问题，可能会影响推理行为？