INT4 は、量子化が攻めに転じる地点です。重み 1 つが取れる値は 16 通りしかありません。
仕組み
TensorRT-LLM の精度ガイドは、一般的な形式である W4A16 を説明しています。重みを 4 ビットに量子化し、行列積の中で “on-the-fly”(訳:その場で)逆量子化する一方、活性化は FP16 または BF16 のままです。TensorRT-LLM はグループごとのスケール係数に対応しており、重みの小さなグループごとに独自のスケールを持たせて、16 段階が適切な範囲をカバーするようにします。vLLM の INT4 の例では、128 個の重みを 1 グループとする W4A16-G128 チェックポイントを保存します。
単純に 16 段階へ丸めると失うものが大きすぎるため、広く使われる手法はもっと賢く丸めます。
- GPTQ は近似的な 2 次の情報を使い、出力誤差を抑える丸め方を選びます。論文では、重みあたり 3 ~ 4 ビットで損失はごくわずかとされ、175B のモデルを GPU 1 枚で動かせるとしています。
- AWQ は “not all weights in an LLM are equally important”(訳:LLM のすべての重みが等しく重要なわけではない)という観察に基づきます。活性化の統計から見つけた約 1% の重要なチャネルを保護するだけで、誤差が大きく減ります。同手法の TinyChat ランタイムは、4 ビットモデルでデバイス上 3 倍を超える高速化を報告しています。
なぜ重要か
メモリの節約は大きなものです。重み 1 つが 0.5 バイトなら、モデルの重みは 16 ビット時の 4 分の 1 になります。25.2B パラメータのモデルでは、BF16 で 25.2B × 2 バイト = 50.4 GB、INT4 で 25.2B × 0.5 バイト = 12.6 GB に、スケール係数の分が少し加わります。生成速度はメモリから重みを読み出す速さで決まることが多いため、4 ビットの重みはレイテンシも下げられます。vLLM のドキュメントによると、INT4 W4A16 は “in workloads with low queries per second”(訳:秒間クエリ数が少ないワークロードで)レイテンシを低く保つのに最も役立ちます。高負荷では重みの逆量子化のコストが目立ち、効果は小さくなります。
16 段階しかないため、丸め誤差は FP8 より大きくなります。GPTQ や AWQ が存在するのはそのためです。ベンチマークの平均スコアは、長い推論、正確な計算、コード、あまり一般的でない言語など、あなたが重視するタスクでの劣化を隠すことがあります。INT4 版が自分のテストセットで 16 ビット版より悪いなら、自分のテストを信じてください。
混合エキスパートモデルは、INT4 化の候補になることがよくあります。トークンごとに動くエキスパートは少なくても、すべてのエキスパートをメモリに載せる必要があるからです。
BroadNet Inference の場合
BroadNet のモデルカタログによると、本番の Gemma 4 26B A4B ビルド(API ID broadnet/gemma-4-26b-a4b)は AWQ の 4 ビット重みを使い、マルチトークン予測と FP8 の KV キャッシュを併用しています。これは BroadNet 自身の説明で、API ドキュメントは他のモデルの精度を記載していません。4 ビットモデルのセルフホストと API 呼び出しのどちらにするか迷っているなら、セルフホストのコスト比較と LLM API 料金計算ツールで総額を比べられます。