Gemma.cpp 在使用 huggingface peft(QLoRA) 微调的 Gemma 7B 模型上卡死

Hi, thanks for the interesting project! 我创建了基于 Gemma 7B 的模型 webbigdata/C3TR-Adapter。 这个模型是 Huggingface Transformer 格式的，仅支持翻译，并通过 QLoRA 微调了原始提示模板。 因此，我将其转换为 pytorch(.ckpt)，结果是 f32_merge_model.ckpt 我已经确认 f32_merge_model.ckpt 可以正常工作。 然后，运行以下命令，没有错误消息。 python3 convert_weights.py --tokenizer tokenizer.model --weight f32_merge_model.ckpt --output_file gemma_cpp_merge.bin --model_type 7b 然后，运行以下命令，没有错误消息。 ./build/compress_weights --weights util/gemma_cpp_merge.bin --model 7b-pt --compressed_weights util/gemma_cpp_merge.sbs 然后，运行 gemma.cpp，没有错误消息。 ./build/gemma --tokenizer util/tokenizer.model --compressed_weights util/gemma_cpp_merge.sbs --model 7b-pt 并输入我的提示 [### 说明:\n 翻译成日语。\n\n ### 输入:\n 这是一个测试输入。\n\n ### 响应:\n] 但是模型无法输出任何内容。 是否有什么问题？