[错误]: i2_s 量化在没有 AVX2 的 x86 CPU 上产生垃圾输出(缺少回退)
作者: ViniciusSchererDeOliveira创建于 2026年4月18日更新于 2026年8月26日
描述
在缺少 AVX2 支持的 x86 CPU 上使用 i2_s 量化格式运行推理时,模型会产生垃圾输出,具体来说是空间标记的无限循环(例如 GGGGGG...)。此问题在使用标准量化格式(例如 Q2_K)的相同构建和硬件上不会出现,这些构建成功地以约 8 个标记/秒的速度输出连贯的文本,使用了 AVX1。
内容来源: microsoft/BitNet