Transformers documentation

AQLM

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

AQLM

语言模型的加性量化(AQLM)会对多个权重进行联合量化,并利用它们之间的相互依赖性。AQLM 将 8 到 16 个权重组成的组表示为多个向量码的总和。

AQLM 还支持使用 PEFT 库通过 LoRA 进行微调,并且与 torch.compile 完全兼容,可实现更快的推理和训练速度。

运行以下命令,安装支持 GPU 和 CPU 推理与训练的 AQLM 库(含内核支持)。

pip install aqlm[gpu,cpu]

使用 from_pretrained() 加载 AQLM 量化模型。

from transformers import AutoTokenizer, AutoModelForCausalLM

quantized_model = AutoModelForCausalLM.from_pretrained(
    "ISTA-DASLab/Mixtral-8x7b-AQLM-2Bit-1x16-hf",
    dtype="auto", 
    device_map="auto"
)

配置

AQLM 量化配置主要因使用的码本数量以及码本的比特大小而异。下面展示了最流行的配置和受支持的推理内核。

Kernel码本数量码本大小,位数符号准确率加速快速 GPU 推理快速 CPU 推理
TritonKNKxN-最高约 0.7 倍✅❌
CUDA1161x16最佳最高约 1.3 倍✅❌
CUDA282x8好的最高约 3.0 倍✅❌
NumbaK8Kx8好的最高约 4.0 倍❌✅

资源

运行 AQLM 演示notebook,了解如何量化模型、将量化后的模型推送到 Hub 等更多示例。

如需查看示例演示笔记本,请访问 AQLM 仓库。

Update on GitHub