DeepSeek-R1 未进行推理, LLaMA.cpp, "MemoryError"
作者: cyberguerilla68创建于 2025年2月24日更新于 2026年7月16日
原谅我,我对AI很陌生, 刚进入它的一些轻编程 和体面的Linux知识。 我运行DeepSeek-R1-Distill 在LLaMA.cpp上,当使用webui时,它不会在回答前经过推理过程. 当我使用LLaMA-cli-m从命令行使用时,它会认为在它返回一个答案之前.
另外,有些模型我也有以下错误
`建造:4767 (08d59862)与cc (Gentoo Hardened 13.3.1 p20241025 p1) 13.3.1 20241024 为x86 64-pc-linux-gnu 主机: LLaMA后端输入器 主机:装入模型并应用lora适配器(如果有的话) gguf init from file impl: 无效的魔法字符:" <!do",需要"GGUF" lama model load:出错的加载模型: lama model loader:从zephyr-7b-beta装入模型失败. Q8 0.gguf (英语).
lama model load from file impl: 装载模型失败
common init from params: 无法装入“ zephyr- 7b- beta. Q8 0. gguf” 模型
主机:出错:无法装入模型
(a).
不确定是不是跟我配置的方式有关 感谢帮助 < 3
内容来源: oobabooga/textgen