适用于大型语言模型和扩散模型的模型压缩工具箱
适用于大型语言模型和扩散模型的模型压缩工具箱
DeepCompressor 是一个基于 PyTorch 的 开源 模型压缩工具箱,用于大型语言模型和扩散模型。DeepCompressor 目前支持虚拟量化,支持 8 位以内的任意整型和浮点数据类型,例如 INT8、INT4 和 FP4_E2M1。以下是实现以下算法的示例。
DeepCompressor 还包含与其他推理库集成的示例。 + 使用 TinyChat 部署仅包含权重的量化 LLM + 使用 QServe 部署量化 LLM + 使用 Nunchaku 部署量化扩散模型
暂无开放 Issues，或尚未同步最近议题。