官方 Pytorch 仓库,用于通过加法量化极端压缩大型语言模型 https://arxiv.org/pdf/2401.06118.pdf 和 PV-Tuning: Beyon
官方 Pytorch 仓库,用于通过加法量化极端压缩大型语言模型 https://arxiv.org/pdf/2401.06118.pdf 和 PV-Tuning: Beyon
PyTorch 官方实现 通过添加量化极度压缩大型语言模型
[2025.04] 发布了 aqlm v1.1.7。增加了对 GPU 上任意 8 维码书的支持，提高了 1 位模型的准确性，例如 ISTA-DASLab/LLaMA-2-7b-AQLM-1Bit-1x8-hf 以 ~1 位实现了 WikiText 2 PPL 7.85。若要以此方式量化您自己的模型，请按照下面的教程使用 num_codebooks=1, nbits_per_codebook=256。
[2024.11] PV-tuning 已被接受参加 NeurIPS'2024 口头演讲!
[2024.05] AQLM 已被接受为 ICML'2024 的成员!如果您参加了会议,请在 此海报 附近与我们见面。
[2024.06] 我们发布了一篇新论文,该论文将 AQLM 扩展为新的微调算法,称为 PV-tuning。我们还发布了经过 PV-tuning 的 AQLM 模型 在此集合中。
| 基本 AQLM 生成 | 使用 GPU/CPU 进行流式传输 | 使用 CUDA 图形进行推理（速度提升 3 倍） | 使用 PEFT 进行微调 | 使用 vLLM 进行服务 | | :-----------: | :-------: | :---------------: | :----------: | :--------: |
暂无开放 Issues，或尚未同步最近议题。