---
title: "什么是大模型量化？用更少的比特存储权重 | BroadRouter"
description: "量化用更少的比特存储大模型的权重（有时也包括激活值），以节省显存并加快推理。常见格式、显存计算和质量取舍。"
url: https://broadrouter.com/zh/glossary/quantization/
lang: zh-Hans
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。 [阅读英文原文](https://broadrouter.com/glossary/quantization/) (2026-11-14 更新).

# 量化（quantization）

更新于 2026-11-14

量化是把神经网络中的数值（主要是权重）从 16 位改用 8 位或 4 位等更低精度格式存储的过程，这样模型占用的显存更少，通常也运行得更快。好的量化方法能把精度损失控制得很小。

又称： 模型量化、大模型量化、量化模型、权重量化、INT4 量化、INT8 量化、quantization、model quantization、LLM quantization、quantized model、weight quantization

大多数开源模型发布时使用 16 位权重。量化把这些数值压缩，让模型可以放进更少的 GPU。

## 工作原理

Hugging Face 把量化描述为 “representing weights and activations with lower-precision data types like 8-bit integers (int8).”（译文：用 8 位整数（int8）等更低精度的数据类型来表示权重和激活值。）每一块权重都有一个缩放因子。权重被舍入到少数几个级别上，运行时再乘回缩放因子。

权重占用的显存与每个参数的比特数成正比。以 Google 的 Gemma 4 26B A4B 为例，它有 25.2B 个参数：

| 精度 | 每个权重的字节数 | 仅权重 |
| --- | --- | --- |
| 16 位（BF16） | 2 | 25.2B × 2 = 50.4 GB |
| 8 位（[FP8](https://broadrouter.com/zh/glossary/fp8/) 或 INT8） | 1 | 25.2 GB |
| 4 位（[INT4](https://broadrouter.com/zh/glossary/int4/)） | 0.5 | 12.6 GB |

[KV 缓存](https://broadrouter.com/zh/glossary/kv-cache/)和激活值还需要额外的空间。

各种方法的区别在于量化哪些部分、如何选择级别：

-   **LLM.int8()** 把推理显存减半，并把少数离群特征保留为 16 位；论文说超过 99.9% 的值仍然使用 8 位运算。
-   **GPTQ** 是一种一次性的权重量化方法，能做到每个权重 3 或 4 位且 “negligible accuracy degradation”（译文：精度下降可以忽略不计），量化一个 175B 模型大约需要四个 GPU 小时。
-   **仅权重量化与权重加激活值量化。** 仅权重的格式能节省显存。在支持的硬件上，同时量化激活值还能加快矩阵运算。

## 为什么重要

对调用 API 的人来说，量化在请求中是看不见的，但会体现在三个地方。价格：模型越小，需要的 GPU 越少，服务成本越低。速度：生成通常受显存带宽限制，所以每个权重的字节数越少，[每秒 token 数](https://broadrouter.com/zh/glossary/tokens-per-second/)可能越高。质量：比特越少，舍入误差越大，模型可能平均分不变，却在你依赖的某些具体任务上退步。

如果你比较两家服务商提供的”同一个”开源模型，结果却不同，精度就是一个可能的原因。

## 在 BroadNet Inference 上

BroadNet 的 API 参考文档没有说明服务精度。它的模型目录列出，生产环境中的 Gemma 4 26B A4B 版本（以 [BroadNet Gemma 4 VL 26B](https://broadrouter.com/zh/models/gemma-4-vl-26b/) 提供）使用 AWQ 4 位权重和 FP8 KV 缓存，但没有说明其他模型在 API 上的精度。如果精度对你的用途很重要，请在每家服务商上运行同一套评测集；[切换模型前的评估清单](https://broadrouter.com/zh/blog/evaluate-llm-before-switching/)介绍了具体做法。

## 常见问题

### 量化会让模型变差吗？

有时会略微变差。LLM.int8() 报告，在最多 1750 亿（175B）参数的模型上，8 位推理没有性能下降；GPTQ 报告，每个权重 3 或 4 位时损失可以忽略不计。比特越少、任务越难，风险越大，所以请在你自己的提示词上测试。

### 能看出一个 API 用的是量化模型吗？

通常只有服务商说明了才知道。无论是否量化，API 返回的响应格式都一样，所以请用你自己的测试比较输出，并询问服务商使用的精度。

### 量化能省多少显存？

权重占用的显存与每个权重的比特数成正比。一个 25.2B 参数的模型，16 位时约需 50.4 GB，8 位时 25.2 GB，4 位时 12.6 GB，这还没有算 KV 缓存和激活值。

## 另请参阅

-   [FP8（8 位浮点数）](https://broadrouter.com/zh/glossary/fp8/) (术语)
-   [INT4（4-bit 量化）](https://broadrouter.com/zh/glossary/int4/) (术语)
-   [KV 缓存（KV cache）](https://broadrouter.com/zh/glossary/kv-cache/) (术语)
-   [混合专家模型（MoE）](https://broadrouter.com/zh/glossary/mixture-of-experts/) (术语)
-   [开放权重模型（open-weight model）](https://broadrouter.com/zh/glossary/open-weight-model/) (术语)
-   [AWQ（激活感知权重量化）](https://broadrouter.com/zh/glossary/awq/) (术语)
-   [GGUF](https://broadrouter.com/zh/glossary/gguf/) (术语)
-   [用 OpenAI Python SDK 调用 BroadNet Inference](https://broadrouter.com/zh/guides/openai-python-sdk/) (指南)
-   [企业该选开放权重还是闭源大模型：成本、控制与风险](https://broadrouter.com/zh/blog/open-weight-vs-closed-models/) (文章)
-   [自建部署大模型还是用 API：真实成本与盈亏平衡点](https://broadrouter.com/zh/blog/self-hosting-llm-vs-api-cost/) (文章)

用你的真实业务负载试一试。 新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-quantization&utm_content=page-cta) ·

**来源**

-   [Hugging Face Transformers：量化参考](https://huggingface.co/docs/transformers/en/main_classes/quantization)
-   [Dettmers 等，LLM.int8() 8-bit Matrix Multiplication for Transformers at Scale，arXiv 2208.07339](https://arxiv.org/abs/2208.07339)
-   [Frantar 等，GPTQ, Accurate Post-Training Quantization for Generative Pre-trained Transformers，arXiv 2210.17323](https://arxiv.org/abs/2210.17323)
-   [Google：Gemma 4 26B A4B 模型卡（参数量）](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [BroadNet 模型目录（实验室测量，2026 年 9 月） （英文）](https://www.broadnet.ai/inference/models)
