BroadRouter
开始使用

量化(quantization)

更新于

量化是把神经网络中的数值(主要是权重)从 16 位改用 8 位或 4 位等更低精度格式存储的过程,这样模型占用的显存更少,通常也运行得更快。好的量化方法能把精度损失控制得很小。

又称: 模型量化、大模型量化、量化模型、权重量化、INT4 量化、INT8 量化、quantization、model quantization、LLM quantization、quantized model、weight quantization

大多数开源模型发布时使用 16 位权重。量化把这些数值压缩,让模型可以放进更少的 GPU。

工作原理

Hugging Face 把量化描述为 “representing weights and activations with lower-precision data types like 8-bit integers (int8).”(译文:用 8 位整数(int8)等更低精度的数据类型来表示权重和激活值。)每一块权重都有一个缩放因子。权重被舍入到少数几个级别上,运行时再乘回缩放因子。

权重占用的显存与每个参数的比特数成正比。以 Google 的 Gemma 4 26B A4B 为例,它有 25.2B 个参数:

精度 每个权重的字节数 仅权重
16 位(BF16) 2 25.2B × 2 = 50.4 GB
8 位(FP8 或 INT8) 1 25.2 GB
4 位(INT4) 0.5 12.6 GB

KV 缓存和激活值还需要额外的空间。

各种方法的区别在于量化哪些部分、如何选择级别:

  • LLM.int8() 把推理显存减半,并把少数离群特征保留为 16 位;论文说超过 99.9% 的值仍然使用 8 位运算。
  • GPTQ 是一种一次性的权重量化方法,能做到每个权重 3 或 4 位且 “negligible accuracy degradation”(译文:精度下降可以忽略不计),量化一个 175B 模型大约需要四个 GPU 小时。
  • 仅权重量化与权重加激活值量化。 仅权重的格式能节省显存。在支持的硬件上,同时量化激活值还能加快矩阵运算。

为什么重要

对调用 API 的人来说,量化在请求中是看不见的,但会体现在三个地方。价格:模型越小,需要的 GPU 越少,服务成本越低。速度:生成通常受显存带宽限制,所以每个权重的字节数越少,每秒 token 数可能越高。质量:比特越少,舍入误差越大,模型可能平均分不变,却在你依赖的某些具体任务上退步。

如果你比较两家服务商提供的”同一个”开源模型,结果却不同,精度就是一个可能的原因。

在 BroadNet Inference 上

BroadNet 的 API 参考文档没有说明服务精度。它的模型目录列出,生产环境中的 Gemma 4 26B A4B 版本(以 BroadNet Gemma 4 VL 26B 提供)使用 AWQ 4 位权重和 FP8 KV 缓存,但没有说明其他模型在 API 上的精度。如果精度对你的用途很重要,请在每家服务商上运行同一套评测集;切换模型前的评估清单介绍了具体做法。

常见问题

量化会让模型变差吗?

有时会略微变差。LLM.int8() 报告,在最多 1750 亿(175B)参数的模型上,8 位推理没有性能下降;GPTQ 报告,每个权重 3 或 4 位时损失可以忽略不计。比特越少、任务越难,风险越大,所以请在你自己的提示词上测试。

能看出一个 API 用的是量化模型吗?

通常只有服务商说明了才知道。无论是否量化,API 返回的响应格式都一样,所以请用你自己的测试比较输出,并询问服务商使用的精度。

量化能省多少显存?

权重占用的显存与每个权重的比特数成正比。一个 25.2B 参数的模型,16 位时约需 50.4 GB,8 位时 25.2 GB,4 位时 12.6 GB,这还没有算 KV 缓存和激活值。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity