请求: 仅支持 AVX (不支持 AVX2) 的 GGUF 构建,用于 Qwen2.5-VL 和 Qwen3.5
作者: l08850-alt创建于 2026年9月3日更新于 2026年9月3日
你好,Qwen团队,
感谢你们出色的Quen2.5-VL和Quen3.5模范家庭——它们确实令人印象深刻。
我代表用户写作, 我有一个2011年的笔记本电脑,配有Intel Core i7-2720QM(Sandy Bridge,AVX 但NO AVX2),16GB RAM,SSD,运行Windows 11. 这台机器仍然完全可用于日常任务,但不能运行现代本地LLMS,因为:
- 现有GGUF从流行的分量器(bartowski,Meradermacher,Hui-ai)中建起,需要AVX2.
- 旧运行时间(如被捆绑在LM Studio的LLaMA.cpp 0.2.10 AVX-Beta)不承认 " qwen2vl " 和 " qwen35 " 建筑。
请考虑一下:
- 官方只发布AVX的GGUF建筑为Quen2.5-VL-7B和Quen3.5-9B(Q4 K M/Q6 K)?
- 或与LLaMA.cpp团队协调后端口 qwen2vl/qwen35 架构支持 AVX 仅建?
与Sandy Bridge / Ivy Bridge CPU(2011-2012年时代)一起,有一个有意义的用户群体,他们将从当地运行ZQwen模型中获益匪浅. 我们许多人出于隐私原因更喜欢本地推论,不能总是买得起较新的硬件.
谢谢你的时间和出色的工作。
谢谢 瓦莱里
内容来源: QwenLM/Qwen