BitBLAS 是一个支持混合精度矩阵乘法的库,特别适用于量化的 LLM 部署。
BitBLAS 是一个库,用于在 GPU 上支持混合精度的 BLAS 运算,例如 $W_{wdtype}A_{adtype}$ 的混合精度矩阵乘法,其中 $C_{cdtype}[M, N] = A_{adtype}[M, K] \times W_{wdtype}[N, K]$。BitBLAS 的目标是支持高效的混合精度 DNN 模型部署,特别是大型语言模型 (LLM) 中的 $W_{wdtype}A_{adtype}$ 量化,例如 GPTQ 中的 $W_{UINT4}A_{FP16}$、BitDistiller 中的 $W_{INT2}A_{FP16}$、BitNet-b1.58 中的 $W_{INT2}A_{INT8}$。BitBLAS 基于我们在 OSDI'24 上发表的论文 "Ladder: 通过硬件感知张量转换实现高效的低精度计算" 中的技术。
BitBLAS 的一些主要特性包括：
暂无开放 Issues，或尚未同步最近议题。