CUDA vec FA 内核: turbo4 V 缓存分支每次迭代消耗 4 个元素中的 8 个元素 - 在批量-1 解码中,每个头的 V 输出中有一半为零 (附有补丁)
作者: morpheos-llc创建于 2026年9月3日更新于 2026年9月3日
- 分支:
TheTom/LLaMA-cpp-turboquant@7ebcbb0b6(b10513, 2026-08-17 合并),TURBO4_USE_4BIT=1(4-bit PolarQuant turbo4, CUDA 后端中没有 QJL 代码) - CUDA 编译,
GGML_CUDA_FA_ALL_QUANTS=OFF,CMAKE_CUDA_ARCHITECTURES包含 86 - GPU: RTX 3090 (Ampere, cc 8.6) 通过 OCuLink; Vulkan 对比在 AMD Radeon 8060S (Strix Halo, RADV) 上
- 操作系统:
内容来源: TheTom/turboquant_plus