---
title: "LLM の量子化とは？重みを少ないビット数で表す | BroadRouter"
description: "量子化は、LLM の重み（と場合によってはアクティベーション）を少ないビット数で保存し、GPU メモリを節約して推論を速くする手法です。形式、メモリの計算、品質とのトレードオフを解説します。"
url: https://broadrouter.com/ja/glossary/quantization/
lang: ja
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。 [英語の原文を読む](https://broadrouter.com/glossary/quantization/) (2026-11-14 更新).

# 量子化（quantization）

更新日 2026-11-14

量子化とは、ニューラルネットワークの数値（主に重み）を 16 ビットではなく 8 ビットや 4 ビットなどの低い精度で保存する処理です。モデルのメモリ使用量が減り、多くの場合は速く動きます。優れた手法では精度の低下を小さく抑えられます。

別名： モデルの量子化、LLM の量子化、量子化モデル、重みの量子化、4bit 量子化、quantization、model quantization、LLM quantization、quantized model、weight quantization

オープンモデルの多くは 16 ビットの重みで公開されています。量子化はその数値を小さくし、より少ない GPU にモデルを載せられるようにします。

## しくみ

Hugging Face は量子化を「representing weights and activations with lower-precision data types like 8-bit integers (int8).」（訳：重みとアクティベーションを、8 ビット整数（int8）のような低精度のデータ型で表すこと）と説明しています。重みのブロックごとにスケール係数を持ち、重みは少数の段階に丸められ、実行時にスケールを掛けて元に戻されます。

重みのメモリは、パラメーターあたりのビット数に比例します。25.2B パラメーターを持つ Google の Gemma 4 26B A4B で計算してみます。

| 精度 | 重みあたりのバイト数 | 重みのみ |
| --- | --- | --- |
| 16 ビット（BF16） | 2 | 25.2B × 2 = 50.4 GB |
| 8 ビット（[FP8](https://broadrouter.com/ja/glossary/fp8/) または INT8） | 1 | 25.2 GB |
| 4 ビット（[INT4](https://broadrouter.com/ja/glossary/int4/)） | 0.5 | 12.6 GB |

これに加えて、[KV キャッシュ](https://broadrouter.com/ja/glossary/kv-cache/)とアクティベーションの領域が必要です。

手法によって、何を量子化するか、段階をどう選ぶかが違います。

-   **LLM.int8()** は推論時のメモリを半分にし、少数の外れ値の特徴量を 16 ビットのまま残します。論文によると、99.9% を超える値は引き続き 8 ビットで計算されます。
-   **GPTQ** は 1 回で済む重みの量子化手法で、重みあたり 3 ビットまたは 4 ビットまで落としても「negligible accuracy degradation」（訳：精度の低下はごくわずか）で、175B のモデルを約 4 GPU 時間で量子化します。
-   **重みのみか、重みとアクティベーションの両方か。** 重みのみの形式はメモリを節約します。対応するハードウェアなら、アクティベーションも量子化すると行列演算も速くなります。

## なぜ重要か

API を呼ぶ側から見ると、量子化はリクエストには現れませんが、3 つの点に表れます。料金：モデルが小さいほど必要な GPU が減り、提供コストが下がります。速度：生成はメモリ帯域に律速されることが多いので、重みあたりのバイト数が減ると [1 秒あたりのトークン数](https://broadrouter.com/ja/glossary/tokens-per-second/)が増えることがあります。品質：ビット数が少ないほど丸め誤差が増え、平均スコアは保っていても、頼りにしている特定のタスクで落ちることがあります。

2 つのプロバイダーが提供する「同じ」オープンモデルを比べて結果が違う場合、精度は有力な原因の 1 つです。

## BroadNet Inference の場合

BroadNet の API リファレンスには、提供時の精度は記載されていません。モデルカタログでは、[BroadNet Gemma 4 VL 26B](https://broadrouter.com/ja/models/gemma-4-vl-26b/) として提供される本番の Gemma 4 26B A4B のビルドが、AWQ の 4 ビットの重みと FP8 の KV キャッシュとされています。ほかのモデルの API での精度は記載されていません。用途にとって精度が重要なら、各プロバイダーで同じ評価セットを実行してください。やり方は[乗り換え前にモデルを評価するチェックリスト](https://broadrouter.com/ja/blog/evaluate-llm-before-switching/)にあります。

## よくある質問

### 量子化するとモデルは悪くなりますか？

わずかに悪くなることがあります。LLM.int8() は 1,750 億（175B）パラメーターまでの 8 ビット推論で劣化なしと報告し、GPTQ は重みあたり 3 ビットまたは 4 ビットで損失はごくわずかと報告しています。ビット数が少ないほど、またタスクが難しいほどリスクは上がるので、ご自身のプロンプトでテストしてください。

### API が量子化モデルを提供しているかどうかはわかりますか？

通常は、プロバイダーが明らかにしている場合だけです。どちらでも API が返す応答の形式は同じなので、ご自身のテストで出力を比べ、使っている精度をプロバイダーに問い合わせてください。

### 量子化でメモリはどれくらい節約できますか？

重みのメモリは重みあたりのビット数に比例します。25.2B パラメーターのモデルなら、16 ビットで約 50.4 GB、8 ビットで 25.2 GB、4 ビットで 12.6 GB です。これに KV キャッシュとアクティベーションの分が加わります。

## 関連項目

-   [FP8（8 ビット浮動小数点）](https://broadrouter.com/ja/glossary/fp8/) (用語)
-   [INT4（4 ビット量子化）](https://broadrouter.com/ja/glossary/int4/) (用語)
-   [KV キャッシュ（KV cache）](https://broadrouter.com/ja/glossary/kv-cache/) (用語)
-   [混合エキスパート（MoE）](https://broadrouter.com/ja/glossary/mixture-of-experts/) (用語)
-   [オープンウェイトモデル（open-weight model）](https://broadrouter.com/ja/glossary/open-weight-model/) (用語)
-   [AWQ（Activation-aware Weight Quantization）](https://broadrouter.com/ja/glossary/awq/) (用語)
-   [GGUF](https://broadrouter.com/ja/glossary/gguf/) (用語)
-   [OpenAI Python SDK を BroadNet Inference で使う](https://broadrouter.com/ja/guides/openai-python-sdk/) (ガイド)
-   [ビジネスで使うならオープンウェイトかクローズドか：コスト、管理、リスク](https://broadrouter.com/ja/blog/open-weight-vs-closed-models/) (記事)
-   [LLM のセルフホストと API：本当のコストと損益分岐点](https://broadrouter.com/ja/blog/self-hosting-llm-vs-api-cost/) (記事)

実際のワークロードで試してください。 新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-glossary-quantization&utm_content=page-cta) ·

**出典**

-   [Hugging Face Transformers、量子化のリファレンス](https://huggingface.co/docs/transformers/en/main_classes/quantization)
-   [Dettmers ら、LLM.int8() 8-bit Matrix Multiplication for Transformers at Scale、arXiv 2208.07339](https://arxiv.org/abs/2208.07339)
-   [Frantar ら、GPTQ, Accurate Post-Training Quantization for Generative Pre-trained Transformers、arXiv 2210.17323](https://arxiv.org/abs/2210.17323)
-   [Google、Gemma 4 26B A4B のモデルカード（パラメーター数）](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [BroadNet のモデルカタログ（ラボでの測定、2026 年 9 月） （英語）](https://www.broadnet.ai/inference/models)
