关于 GGUF 文件的问题

我用来自 [SparseLLM/ReluLLAMA-7B] (https://huggingface.co/SparseLLM/ReluLAMA-7B) 的Pytorch文件转换了gguf文件,并使用来自PowerInfer/ReluLLAMA-7B-Predictor/tree/main (url)的预测文件. 根据我根据README规格创建的 运行gguf文件的实验, 我发现模型生成奇怪的,非逻辑的输出文本。 然而,当我运行PowerInfer/ReluLLaMA-7B-PowerInfer-GGUF模型https://huggingface.co/PowerInfer/ReluLAMA-7B-PowerInfer-GGUF时,这种问题就不会出现. 你能告诉我这个问题吗? 下面是根据我生成的 GGUF 文件获取的输出文本文件

(https://GitHub.com/user-attachments/assets/5bb18ab0-276e-4b66-940c-96c8199f468e) (中文(简体) )