---
title: "INT4 量子化とは？LLM の 4 ビット重みを解説 | BroadRouter"
description: "INT4 は LLM の重みを 1 つずつ 4 ビット整数で保存し、16 ビットの 4 分の 1 のサイズにします。4 ビットの重みのみ量子化、GPTQ、AWQ の仕組みと品質のリスクを解説します。"
url: https://broadrouter.com/ja/glossary/int4/
lang: ja
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。 [英語の原文を読む](https://broadrouter.com/glossary/int4/) (2026-11-16 更新).

# INT4（4 ビット量子化）

更新日 2026-11-16

INT4 とは、16 段階を表せる 4 ビットの整数形式です。LLM の推論では通常、4 ビットの重みのみ量子化（W4A16）を指します。重みをスケール係数とともに INT4 で保存し、計算時に 16 ビットに戻すため、メモリは 16 ビットの重みの約 4 分の 1 で済みます。

別名： INT4 量子化、4 ビット量子化、4bit 量子化、W4A16、4 ビット整数、INT4 重みのみ量子化、4 ビット LLM、INT4、4-bit quantization、4-bit integer、INT4 weight-only、4-bit LLM

INT4 は、量子化が攻めに転じる地点です。重み 1 つが取れる値は 16 通りしかありません。

## 仕組み

TensorRT-LLM の精度ガイドは、一般的な形式である **W4A16** を説明しています。重みを 4 ビットに量子化し、行列積の中で “on-the-fly”（訳：その場で）逆量子化する一方、活性化は FP16 または BF16 のままです。TensorRT-LLM はグループごとのスケール係数に対応しており、重みの小さなグループごとに独自のスケールを持たせて、16 段階が適切な範囲をカバーするようにします。vLLM の INT4 の例では、128 個の重みを 1 グループとする `W4A16-G128` チェックポイントを保存します。

単純に 16 段階へ丸めると失うものが大きすぎるため、広く使われる手法はもっと賢く丸めます。

-   **GPTQ** は近似的な 2 次の情報を使い、出力誤差を抑える丸め方を選びます。論文では、重みあたり 3 ～ 4 ビットで損失はごくわずかとされ、175B のモデルを GPU 1 枚で動かせるとしています。
-   **AWQ** は “not all weights in an LLM are equally important”（訳：LLM のすべての重みが等しく重要なわけではない）という観察に基づきます。活性化の統計から見つけた約 1% の重要なチャネルを保護するだけで、誤差が大きく減ります。同手法の TinyChat ランタイムは、4 ビットモデルでデバイス上 3 倍を超える高速化を報告しています。

## なぜ重要か

メモリの節約は大きなものです。重み 1 つが 0.5 バイトなら、モデルの重みは 16 ビット時の 4 分の 1 になります。25.2B パラメータのモデルでは、BF16 で 25.2B × 2 バイト = 50.4 GB、INT4 で 25.2B × 0.5 バイト = 12.6 GB に、スケール係数の分が少し加わります。生成速度はメモリから重みを読み出す速さで決まることが多いため、4 ビットの重みは[レイテンシ](https://broadrouter.com/ja/glossary/latency/)も下げられます。vLLM のドキュメントによると、INT4 W4A16 は “in workloads with low queries per second”（訳：秒間クエリ数が少ないワークロードで）レイテンシを低く保つのに最も役立ちます。高負荷では重みの逆量子化のコストが目立ち、効果は小さくなります。

16 段階しかないため、丸め誤差は [FP8](https://broadrouter.com/ja/glossary/fp8/) より大きくなります。GPTQ や AWQ が存在するのはそのためです。ベンチマークの平均スコアは、長い推論、正確な計算、コード、あまり一般的でない言語など、あなたが重視するタスクでの劣化を隠すことがあります。INT4 版が自分のテストセットで 16 ビット版より悪いなら、自分のテストを信じてください。

[混合エキスパート](https://broadrouter.com/ja/glossary/mixture-of-experts/)モデルは、INT4 化の候補になることがよくあります。トークンごとに動くエキスパートは少なくても、すべてのエキスパートをメモリに載せる必要があるからです。

## BroadNet Inference の場合

BroadNet の[モデルカタログ](https://www.broadnet.ai/inference/models)によると、本番の Gemma 4 26B A4B ビルド（API ID `broadnet/gemma-4-26b-a4b`）は AWQ の 4 ビット重みを使い、マルチトークン予測と FP8 の KV キャッシュを併用しています。これは BroadNet 自身の説明で、API ドキュメントは他のモデルの精度を記載していません。4 ビットモデルのセルフホストと API 呼び出しのどちらにするか迷っているなら、[セルフホストのコスト比較](https://broadrouter.com/ja/blog/self-hosting-llm-vs-api-cost/)と [LLM API 料金計算ツール](https://broadrouter.com/tools/llm-api-cost-calculator/)で総額を比べられます。

## よくある質問

### INT4 でメモリはどれくらい節約できますか？

重み 1 つが 2 バイトではなく 0.5 バイトになるため、16 ビットの約 4 分の 1 に、スケール係数のわずかなオーバーヘッドを加えたサイズになります。25.2B パラメータのモデルなら、重みは約 50.4 GB から約 12.6 GB に減ります。

### INT4 は NF4 や FP4 と同じですか？

いいえ。3 つとも 4 ビットですが、NF4 と FP4 は 16 段階を不均等に配置し、INT4 は均等に配置します。Hugging Face の bitsandbytes 連携は FP4 と NF4 を提供しており、GPTQ や AWQ のチェックポイントは通常 INT4 を使います。

### INT4 でモデルは速くなりますか？

低負荷ではたいてい速くなります。生成はメモリから重みを読む速さで律速されることが多く、4 ビットの重みは小さいからです。vLLM のドキュメントによると、INT4 W4A16 が最も役立つのは秒間クエリ数が少ないワークロードで、高負荷では効果が小さくなります。

## 関連項目

-   [量子化（quantization）](https://broadrouter.com/ja/glossary/quantization/) (用語)
-   [FP8（8 ビット浮動小数点）](https://broadrouter.com/ja/glossary/fp8/) (用語)
-   [混合エキスパート（MoE）](https://broadrouter.com/ja/glossary/mixture-of-experts/) (用語)
-   [レイテンシ（latency）](https://broadrouter.com/ja/glossary/latency/) (用語)
-   [AWQ（Activation-aware Weight Quantization）](https://broadrouter.com/ja/glossary/awq/) (用語)
-   [OpenAI Python SDK を BroadNet Inference で使う](https://broadrouter.com/ja/guides/openai-python-sdk/) (ガイド)
-   [LLM のセルフホストと API：本当のコストと損益分岐点](https://broadrouter.com/ja/blog/self-hosting-llm-vs-api-cost/) (記事)
-   [ビジネスで使うならオープンウェイトかクローズドか：コスト、管理、リスク](https://broadrouter.com/ja/blog/open-weight-vs-closed-models/) (記事)

実際のワークロードで試してください。 新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-glossary-int4&utm_content=page-cta) ·

**出典**

-   [BroadNet のモデルカタログ（Gemma 4 26B A4B、AWQ 4 ビット） （英語）](https://www.broadnet.ai/inference/models)
-   [NVIDIA TensorRT-LLM、数値精度（INT4 と INT8 の重みのみ量子化）](https://nvidia.github.io/TensorRT-LLM/reference/precision.html)
-   [Lin ほか、AWQ、Activation-aware Weight Quantization、arXiv 2306.00978](https://arxiv.org/abs/2306.00978)
-   [Frantar ほか、GPTQ、arXiv 2210.17323](https://arxiv.org/abs/2210.17323)
-   [vLLM ドキュメント、INT4 W4A16 量子化](https://docs.vllm.ai/en/latest/features/quantization/llm_compressor/int4/)
-   [Hugging Face Transformers ドキュメント、bitsandbytes（NF4 と FP4 の 4 ビット型）（2026-11-16 確認）](https://huggingface.co/docs/transformers/main/en/quantization/bitsandbytes)
