最小内存 (2.05GB),更高的 FPS (1.6 倍),平衡模式 — 根据你的喜好选择。
作者: ureeey创建于 2026年6月16日更新于 2026年7月18日
| 摘要 | 权重激活量化 | KV Cache fp8 量化 | KV Cache 下采样 | 显存峰值(GB) | FPS | ATE | 轨迹平滑 |
|---|---|---|---|---|---|---|---|
| 基准 | 禁用 | 禁用 | 禁用 | 7.13 | 3.6 | 基准 | 基准 |
| 单项分析 | int4、int8混合 | - | - | 5.37 | 2.2 | 轻微变化 | 轻微变化 |
| 单项分析 | fp8 | - | - | 5.68 | 3.7 | 轻微变化 | 显著变差 |
| 单项分析 | - | 启用 | - | 5.17 | 3.3 | 轻微变化 | 轻微变化 |
| 单项分析 | - | - | 启用 | 4.4 | 5.4 | 显著变差 | 轻微变化 |
| 最小内存 | int4、int8混合 | 启用 | 启用 | 2.05 | 2.7 | 显著变差 | 轻微变化 |
| 最快 | fp8 | - | 启用 | 2.96 | 5.8 | 显著变差 | 显著变差 |
| 平衡 | int4、int8混合 | 启用 | - | 3.41 | 2.1 | 轻微变化 | 轻微变化 |
内容来源: Robbyant/lingbot-map