在使用 TL2 GGUF 模型时,build/bin/LLaMA-cli 会抛出 SIGSEGV 错误,段错误

** 在x86建筑上复制:** 1.python3设置 env.py-hf-repo HF1BitLLM/Llama3-8B.58-100B-tokens-q tl2 2. python3 run inference.py-m 型号/bitnet b1 58-大/ggml-model-tl2.gguf-p "嗨,你是一个LLM?"

** 结果:** 正在装入模型... 在运行命令时发生了 QQ 错误 : 命令 '['built/bin/LLaMA-cli','-m','models b1 58-magml-model-tl2.gguf','-n','6','t','2','p','Hi A LLM?'','-ngl','0','-c','2048','-temp','0.0''' 与" signals.SIGSEGV: 11"相接而死.

** 在调试中编译 LLaMA.cpp,在gdb中运行 LLaMA-cli 我得到这个回溯:** 0 0x0000000000000000000 in ? () #1 0x0007ff5e0bde9 in ggml compute forward mul mat one chunk (params=0x7ffffffffee9a0,dst=0x23f0730,类型=GGML TYPE TL2, num rows per vec dot=0), ir0 start=0,ir0 end=16,ir1 start=0,ir1 end=2,在/home/hbaastrup/bitnet/BitNet.debug/3rdparty/LLaMA.cpp/ggml/src/ggml-cpu/ggml-cpu.c:1295 #2 0x0007ff5e0ad40 in ggml compute forward mul mat (params=0x7ffffffffffee9a0, dst=0x23f0730) 请检查isbn=值 (帮助). at/home/hbaastrup/bitnet/BitNet.debug/3rdparty/LLaMA.cpp/ggml/src/ggml-cpu/ggml-cpu.c:1608 . . . . . . . .

当我更好地查看文件 3rdparty/LLaMA.cpp/ggml/src/ggml-cpu/ggml-cpu.c时,我看到类型 traits cpu 阵列没有GML TYPE TL2(42)的索引值,这意味着;当程序试图查找vec dot的引用时,它会得到一个0(null),当vec dot被调用时会触发一个SIGSEGV.

有办法吗?

** 说明** 我不使用I2 S格式,因为LLaMA-quantize不再支持这种格式. и笵: ellama quantize:无效的“I2-S”类型 当我运行 python3 设置 env.py --hf-repo HF1BitLLM/Llama3-8B-1.58-100B-tokens -q i2 s 时.

查看文件 3rdparty/LLaMA.cpp/tools/quantize/quantize.cpp 我可以看到 std: vector QUANT OPTIONS 缺少 I2 S 的索引