[错误]: Windows 上的 qwen36 CUDA_DLL: 除非设置了 COLI_GPUS (在加载 DLL 之前查询可用设备数量),否则层级将选择 0 个设备

QQ 提交或版本

`b5968eb67cbf9e64e9b03ef066fe9b1d57a21e7d'(dev,包括#1537)

环境

• Windows 11 Pro 24H2(10.0.26200),原生,无WSL
• i5-12600KF、32GB内存、NVMe
• NVIDIA RTX 4070 SUPER(12 GB, sm 89),司机616.92
• CUDA工具包 13.4.1, VS 2022 Building Tools 17.14(MSVC 19.44.35229,x64),MSYS2 make 4.4.1 / MinGW gcc 16.2.0.
• 型号: Qune3.6-35B-A3B int4-gs64集装箱

• 复制步骤

取自 PATH 上的“ C:\ msys64\usr\bin” 的x64 本地工具提示,以“ c/ ” 表示:

制作 Cuda-dll CUDA ARCH=sm 89
make qwen36.exe CUDA DLL=1 ARCH=本土

然后用要求的分级启动引擎,但 ** 没有** COLI GPUS'/COLI GPU':

设置 COLI  CUDA=1
设置 SNAPQQqwen36 i4 容器 >
设置 N NEW=8
qwen36.exe 256 4 即时.txt

(通过发射器得出同样的结果:coli聊天-型号为<qwen36 i4>-gpu auto-cap 256'--gpu auto'没有设置`COLI GPUS'.

预期行为

该分级选择Linux上可见的GPU(s),并打印出[CUDA]设备0:.'/[CUDA]模式:路由专家(qwen36 VRAM分级)'。

实际行为和记录

贝壳 [qtier] COLI GPUS 未设置:选择 0 可见设备 [qtier] 没有可见的 CUDA 设备 - > CPU 路径