到了 INT4,量化就变得激进了:每个权重只有 16 个可能的取值。
原理
TensorRT-LLM 的精度指南描述了最常见的形式 W4A16:权重量化为 4 bit,在矩阵乘法内部 “on-the-fly”(即时)反量化,激活值则保持 FP16 或 BF16。TensorRT-LLM 支持按组的缩放因子:每一小组权重有自己的缩放值,让 16 个等级覆盖合适的范围。vLLM 的 INT4 示例保存的是 W4A16-G128 检查点,即每 128 个权重为一组。
直接四舍五入到 16 个等级损失太大,所以流行的方法都更聪明:
- GPTQ 利用近似的二阶信息来选择舍入方式,以限制输出误差。论文报告在每个权重 3 或 4 bit 时损失可以忽略,足以在单张 GPU 上运行 175B 模型。
- AWQ 观察到 “not all weights in an LLM are equally important”(译文:LLM 中的权重并非同等重要)。根据激活统计找出约 1% 的显著通道并加以保护,就能大幅降低误差。它的 TinyChat 运行时报告,4-bit 模型在设备上提速超过 3 倍。
为什么重要
显存节省很可观。每个权重 0.5 字节,模型权重就只占 16-bit 大小的四分之一。以 25.2B 参数的模型为例:BF16 下是 25.2B × 2 字节 = 50.4 GB,INT4 下是 25.2B × 0.5 字节 = 12.6 GB,再加上一点缩放因子。生成速度往往受限于权重从显存读出的速度,所以 4-bit 权重也能降低延迟。vLLM 的文档说,INT4 W4A16 最适合 “in workloads with low queries per second”(译文:每秒查询数较低的负载)下保持低延迟。高负载时,反量化权重的开销更显著,收益会缩小。
只有 16 个等级,舍入误差比 FP8 大,这正是 GPTQ 和 AWQ 存在的原因。平均基准分数可能掩盖你关心的任务上的损失,比如长推理、精确计算、代码或较少见的语言。如果 INT4 版本在你自己的测试集上不如 16-bit 版本,请相信你的测试。
混合专家模型常被做成 INT4,因为虽然每个 token 只运行少数专家,但所有专家都必须装进显存。
在 BroadNet Inference 上
BroadNet 的模型目录说,其生产版 Gemma 4 26B A4B(API ID broadnet/gemma-4-26b-a4b)使用 AWQ 4-bit 权重,并采用多 token 预测和 FP8 KV 缓存。这是 BroadNet 自己的描述;API 文档没有说明其他模型的精度。如果你在自托管 4-bit 模型和调用 API 之间做选择,自托管成本对比和大模型 API 费用计算器可以帮你比较总成本。