用于推理研究和开发的实验版 LLaMA.cpp 分支
这是 LLaMA.cpp 的一个高度实验性分支。请自行决定是否使用。 LLaMA.cpp 的一个研究和开发分支,提供了独特的 KV 缓存编解码器、推理技术和前沿功能。
为什么要为只有时达到的上下文长度支付 3 位或 4 位的质量? VBR 量化 KV 缓存 随着会话的增长而动态调整 – 为您在任何给定深度提供最高质量的缓存。 它逐层量化缓存,使用我们最优的 KV 编解码器,从最不敏感的层开始。 尽可能灵敏,并且只需要在 VRAM 和上下文所需的最低层级。
缓存从FP16开始,直到出现真正的预算压力,然后才逐层、逐侧降低一个张量的精度 — — 首先降至 15.75 位/值,然后降至 15.51 位/值,依此类推,沿着 f16 → turbo8 → turbo4 → turbo3_tcq → turbo2_tcq → turbo1_tcq 的阶梯,按照在 KLD 面板上测量的按价格排序的模型顺序进行。对于 Qwen35 (16 个注意力层),从 FP16 降低到 turbo1_tcq 共需要 160 个不同的步骤;对于 Gemma4-31B (60 层),则需要 600 个步骤 — — 这是我们在每个会话时为您提供的最精细的质量控制。
而且由于 VBR 始终从梯度中选择最佳编码器, 您再也不用再次跟踪 KV 格式了: 新的编码器和研究成果直接纳入 VBR,因此默认缓存将始终使用可用的最佳编码器。
VBR 是默认的缓存。编解码器的选择是自动的：完整 KV 几何图形支持 Turbo 的模型使用 turbo4 品质下限，而 BailingMoE3/Ling 则回退到经典的 F16→Q8_0→Q4_0 阶梯。VBR 从权重和计算后剩余的内容中衍生 KV VRAM 预算，并宣传不低于选定编解码器默认下限（上限为模型的训练长度）的最大上下文，并在上下文填满时动态降低级别。缓存仍为 FP16，直到内存压力实际上需要压缩。
暂无开放 Issues，或尚未同步最近议题。