BroadRouter
始める

INT4(4 ビット量子化)

更新日

INT4 とは、16 段階を表せる 4 ビットの整数形式です。LLM の推論では通常、4 ビットの重みのみ量子化(W4A16)を指します。重みをスケール係数とともに INT4 で保存し、計算時に 16 ビットに戻すため、メモリは 16 ビットの重みの約 4 分の 1 で済みます。

別名: INT4 量子化、4 ビット量子化、4bit 量子化、W4A16、4 ビット整数、INT4 重みのみ量子化、4 ビット LLM、INT4、4-bit quantization、4-bit integer、INT4 weight-only、4-bit LLM

INT4 は、量子化が攻めに転じる地点です。重み 1 つが取れる値は 16 通りしかありません。

仕組み

TensorRT-LLM の精度ガイドは、一般的な形式である W4A16 を説明しています。重みを 4 ビットに量子化し、行列積の中で “on-the-fly”(訳:その場で)逆量子化する一方、活性化は FP16 または BF16 のままです。TensorRT-LLM はグループごとのスケール係数に対応しており、重みの小さなグループごとに独自のスケールを持たせて、16 段階が適切な範囲をカバーするようにします。vLLM の INT4 の例では、128 個の重みを 1 グループとする W4A16-G128 チェックポイントを保存します。

単純に 16 段階へ丸めると失うものが大きすぎるため、広く使われる手法はもっと賢く丸めます。

  • GPTQ は近似的な 2 次の情報を使い、出力誤差を抑える丸め方を選びます。論文では、重みあたり 3 ~ 4 ビットで損失はごくわずかとされ、175B のモデルを GPU 1 枚で動かせるとしています。
  • AWQ は “not all weights in an LLM are equally important”(訳:LLM のすべての重みが等しく重要なわけではない)という観察に基づきます。活性化の統計から見つけた約 1% の重要なチャネルを保護するだけで、誤差が大きく減ります。同手法の TinyChat ランタイムは、4 ビットモデルでデバイス上 3 倍を超える高速化を報告しています。

なぜ重要か

メモリの節約は大きなものです。重み 1 つが 0.5 バイトなら、モデルの重みは 16 ビット時の 4 分の 1 になります。25.2B パラメータのモデルでは、BF16 で 25.2B × 2 バイト = 50.4 GB、INT4 で 25.2B × 0.5 バイト = 12.6 GB に、スケール係数の分が少し加わります。生成速度はメモリから重みを読み出す速さで決まることが多いため、4 ビットの重みはレイテンシも下げられます。vLLM のドキュメントによると、INT4 W4A16 は “in workloads with low queries per second”(訳:秒間クエリ数が少ないワークロードで)レイテンシを低く保つのに最も役立ちます。高負荷では重みの逆量子化のコストが目立ち、効果は小さくなります。

16 段階しかないため、丸め誤差は FP8 より大きくなります。GPTQ や AWQ が存在するのはそのためです。ベンチマークの平均スコアは、長い推論、正確な計算、コード、あまり一般的でない言語など、あなたが重視するタスクでの劣化を隠すことがあります。INT4 版が自分のテストセットで 16 ビット版より悪いなら、自分のテストを信じてください。

混合エキスパートモデルは、INT4 化の候補になることがよくあります。トークンごとに動くエキスパートは少なくても、すべてのエキスパートをメモリに載せる必要があるからです。

BroadNet Inference の場合

BroadNet のモデルカタログによると、本番の Gemma 4 26B A4B ビルド(API ID broadnet/gemma-4-26b-a4b)は AWQ の 4 ビット重みを使い、マルチトークン予測と FP8 の KV キャッシュを併用しています。これは BroadNet 自身の説明で、API ドキュメントは他のモデルの精度を記載していません。4 ビットモデルのセルフホストと API 呼び出しのどちらにするか迷っているなら、セルフホストのコスト比較と LLM API 料金計算ツールで総額を比べられます。

よくある質問

INT4 でメモリはどれくらい節約できますか?

重み 1 つが 2 バイトではなく 0.5 バイトになるため、16 ビットの約 4 分の 1 に、スケール係数のわずかなオーバーヘッドを加えたサイズになります。25.2B パラメータのモデルなら、重みは約 50.4 GB から約 12.6 GB に減ります。

INT4 は NF4 や FP4 と同じですか?

いいえ。3 つとも 4 ビットですが、NF4 と FP4 は 16 段階を不均等に配置し、INT4 は均等に配置します。Hugging Face の bitsandbytes 連携は FP4 と NF4 を提供しており、GPTQ や AWQ のチェックポイントは通常 INT4 を使います。

INT4 でモデルは速くなりますか?

低負荷ではたいてい速くなります。生成はメモリから重みを読む速さで律速されることが多く、4 ビットの重みは小さいからです。vLLM のドキュメントによると、INT4 W4A16 が最も役立つのは秒間クエリ数が少ないワークロードで、高負荷では効果が小さくなります。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く