BroadRouter

AWQ(激活感知权重量化)

更新于

AWQ(激活感知权重量化)是一种训练后量化方法,把大模型的权重压缩到低精度,通常是 4 位整数。它用一小份校准集的激活值统计找出最重要的权重通道,并对它们做缩放,以减少精度损失。它不需要反向传播。

又称: AWQ、AWQ 量化、激活感知权重量化、激活感知量化、4 位量化、activation-aware weight quantization、AWQ quantization

4 位模型的大小约为 16 位原版的四分之一。AWQ 是在不明显损失质量的前提下做到这一点最常用的方法之一。

工作原理

普通的量化把每个权重舍入到少数几个取值上。有些权重比其他权重更重要,对它们舍入造成的伤害也最大。AWQ 论文的核心发现是 “Protecting only 1% salient weights can greatly reduce quantization error”(译文:只保护 1% 的关键权重,就能大幅降低量化误差),而要找到这些权重,“we should refer to the activation distribution, not weights.”(译文:应该参考激活值的分布,而不是权重本身。)

步骤概要:

  1. 让一小份校准集通过全精度模型,记录每个通道的激活值大小。
  2. 用论文所说的 “an equivalent transformation”(译文:等价变换)放大关键的权重通道,这样舍入对它们的影响更小,而该层的输出保持不变。这样就避免了 “hardware-inefficient mix-precision quantization”(译文:对硬件不友好的混合精度量化)。
  3. 把所有权重舍入到低精度,通常是 4 位整数,每组权重有一个缩放因子。

论文强调 “AWQ does not rely on any backpropagation or reconstruction”(译文:AWQ 不依赖任何反向传播或重建),因此它 “generalizes to different domains and modalities”(译文:能泛化到不同的领域和模态),不会过拟合校准集。它获得了 MLSys 2024 最佳论文奖。

在 vLLM 中,预先量化好的 AWQ 检查点只需一个参数就能加载:

from vllm import LLM
llm = LLM(model="TheBloke/Llama-2-7b-Chat-AWQ", quantization="auto_awq")

vLLM 的页面说这种格式把权重 “from BF16/FP16 to INT4”(译文:从 BF16/FP16 降到 INT4),并提醒 “The AutoAWQ library is deprecated”(译文:AutoAWQ 库已被弃用);新的 AWQ 模型用 vLLM 的 llm-compressor 制作。

为什么重要

  • 显存与成本。 权重变小后,可以放进更少或更便宜的 GPU,给 KV 缓存留出更多显存,也就能同时处理更多请求。
  • 速度。 解码时每生成一个 token 都要读一遍所有权重,所以权重越小,输出可能越快。论文报告,其 TinyChat 运行时比 Huggingface FP16 实现 “more than 3x speedup”(译文:快 3 倍以上)。
  • 同样的权重,不同的结果。 两家服务商提供的“同一个模型”可能用了不同的量化。比较质量时,请问清服务商用的是哪种格式。

AWQ 只量化权重。它不同于 FP8(FP8 也可以量化激活值),也不同于 GGUF(GGUF 是 llama.cpp 使用的文件格式,有自己的量化类型)。

在 BroadNet Inference 上

BroadNet 报告称,它提供的 Gemma 4 VL 26B 使用自行量化的 4 位 AWQ 权重,并配合多 token 预测投机解码(k=2)和 fp8 KV 缓存。据其模型页,它测试过 NVFP4,在一次正面对比后弃用了。BroadNet 还报告,同样的 Gemma 4 权重由一家托管服务商提供时,平均得分比它自己的服务低 0.13(BroadNet 没有说明是哪项指标、什么量表);详情见 GPU 集群与服务方式一文。BroadNet 没有公布其他 API 模型的量化格式。如果你打算自己运行 AWQ 权重,自托管与 API 成本对比指南介绍了具体的计算。

常见问题

AWQ 和 INT4 是一回事吗?

AWQ 是一种方法,INT4 是一种数值格式。AWQ 通常产出 4 位整数权重,所以 AWQ 模型是 INT4 模型的一种。GPTQ 或 GGUF 量化类型等其他方法也能产出 4 位权重。

AWQ 会降低质量吗?

任何低比特量化都可能降低质量。AWQ 论文报告,保护约 1% 的关键权重就能大幅降低量化误差,但你仍应在自己的提示词上测试量化后的模型。

能在 vLLM 里运行 AWQ 模型吗?

能。vLLM 的文档演示了如何加载预先量化好的 AWQ 检查点。文档还说明 AutoAWQ 库已被弃用,制作新的 AWQ 模型请使用 vLLM 的 llm-compressor 项目。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity