大多数开源模型发布时使用 16 位权重。量化把这些数值压缩,让模型可以放进更少的 GPU。
工作原理
Hugging Face 把量化描述为 “representing weights and activations with lower-precision data types like 8-bit integers (int8).”(译文:用 8 位整数(int8)等更低精度的数据类型来表示权重和激活值。)每一块权重都有一个缩放因子。权重被舍入到少数几个级别上,运行时再乘回缩放因子。
权重占用的显存与每个参数的比特数成正比。以 Google 的 Gemma 4 26B A4B 为例,它有 25.2B 个参数:
| 精度 | 每个权重的字节数 | 仅权重 |
|---|---|---|
| 16 位(BF16) | 2 | 25.2B × 2 = 50.4 GB |
| 8 位(FP8 或 INT8) | 1 | 25.2 GB |
| 4 位(INT4) | 0.5 | 12.6 GB |
KV 缓存和激活值还需要额外的空间。
各种方法的区别在于量化哪些部分、如何选择级别:
- LLM.int8() 把推理显存减半,并把少数离群特征保留为 16 位;论文说超过 99.9% 的值仍然使用 8 位运算。
- GPTQ 是一种一次性的权重量化方法,能做到每个权重 3 或 4 位且 “negligible accuracy degradation”(译文:精度下降可以忽略不计),量化一个 175B 模型大约需要四个 GPU 小时。
- 仅权重量化与权重加激活值量化。 仅权重的格式能节省显存。在支持的硬件上,同时量化激活值还能加快矩阵运算。
为什么重要
对调用 API 的人来说,量化在请求中是看不见的,但会体现在三个地方。价格:模型越小,需要的 GPU 越少,服务成本越低。速度:生成通常受显存带宽限制,所以每个权重的字节数越少,每秒 token 数可能越高。质量:比特越少,舍入误差越大,模型可能平均分不变,却在你依赖的某些具体任务上退步。
如果你比较两家服务商提供的”同一个”开源模型,结果却不同,精度就是一个可能的原因。
在 BroadNet Inference 上
BroadNet 的 API 参考文档没有说明服务精度。它的模型目录列出,生产环境中的 Gemma 4 26B A4B 版本(以 BroadNet Gemma 4 VL 26B 提供)使用 AWQ 4 位权重和 FP8 KV 缓存,但没有说明其他模型在 API 上的精度。如果精度对你的用途很重要,请在每家服务商上运行同一套评测集;切换模型前的评估清单介绍了具体做法。