IQ9-EVK NPU 的限制
作者: dtischler创建于 2026年7月28日更新于 2026年9月16日
尝试在 HuggingFace 上使用 IQ9-EVK NPU 运行 Gemma4 GGUF 时，`E4B-it-qat-q4_0-gguf` 可以正常运行，但将大小增加到 `26B-A4B-it-qat-q4_0-gguf` 却无法运行。 但是，它会在 CPU 上加载。 你有什么想法可以让更大的模型正常运行吗？
内容来源: qualcomm/GenieX
尝试在 HuggingFace 上使用 IQ9-EVK NPU 运行 Gemma4 GGUF 时，`E4B-it-qat-q4_0-gguf` 可以正常运行，但将大小增加到 `26B-A4B-it-qat-q4_0-gguf` 却无法运行。 但是，它会在 CPU 上加载。 你有什么想法可以让更大的模型正常运行吗？
内容来源: qualcomm/GenieX