#55578·vllm

[功能]: [vllm_gguf_plugin] 添加 --gguf-dequant-on-load 选项,为预填量大的工作负载解锁 cuBLAS 矩阵核心

作者: RyanJFriedrich创建于 2026年9月6日更新于 2026年9月17日
标签feature requestquantization

The feature, motivation and pitch

内容来源: vllm-project/vllm