オープンモデルの多くは 16 ビットの重みで公開されています。量子化はその数値を小さくし、より少ない GPU にモデルを載せられるようにします。
しくみ
Hugging Face は量子化を「representing weights and activations with lower-precision data types like 8-bit integers (int8).」(訳:重みとアクティベーションを、8 ビット整数(int8)のような低精度のデータ型で表すこと)と説明しています。重みのブロックごとにスケール係数を持ち、重みは少数の段階に丸められ、実行時にスケールを掛けて元に戻されます。
重みのメモリは、パラメーターあたりのビット数に比例します。25.2B パラメーターを持つ Google の Gemma 4 26B A4B で計算してみます。
| 精度 | 重みあたりのバイト数 | 重みのみ |
|---|---|---|
| 16 ビット(BF16) | 2 | 25.2B × 2 = 50.4 GB |
| 8 ビット(FP8 または INT8) | 1 | 25.2 GB |
| 4 ビット(INT4) | 0.5 | 12.6 GB |
これに加えて、KV キャッシュとアクティベーションの領域が必要です。
手法によって、何を量子化するか、段階をどう選ぶかが違います。
- LLM.int8() は推論時のメモリを半分にし、少数の外れ値の特徴量を 16 ビットのまま残します。論文によると、99.9% を超える値は引き続き 8 ビットで計算されます。
- GPTQ は 1 回で済む重みの量子化手法で、重みあたり 3 ビットまたは 4 ビットまで落としても「negligible accuracy degradation」(訳:精度の低下はごくわずか)で、175B のモデルを約 4 GPU 時間で量子化します。
- 重みのみか、重みとアクティベーションの両方か。 重みのみの形式はメモリを節約します。対応するハードウェアなら、アクティベーションも量子化すると行列演算も速くなります。
なぜ重要か
API を呼ぶ側から見ると、量子化はリクエストには現れませんが、3 つの点に表れます。料金:モデルが小さいほど必要な GPU が減り、提供コストが下がります。速度:生成はメモリ帯域に律速されることが多いので、重みあたりのバイト数が減ると 1 秒あたりのトークン数が増えることがあります。品質:ビット数が少ないほど丸め誤差が増え、平均スコアは保っていても、頼りにしている特定のタスクで落ちることがあります。
2 つのプロバイダーが提供する「同じ」オープンモデルを比べて結果が違う場合、精度は有力な原因の 1 つです。
BroadNet Inference の場合
BroadNet の API リファレンスには、提供時の精度は記載されていません。モデルカタログでは、BroadNet Gemma 4 VL 26B として提供される本番の Gemma 4 26B A4B のビルドが、AWQ の 4 ビットの重みと FP8 の KV キャッシュとされています。ほかのモデルの API での精度は記載されていません。用途にとって精度が重要なら、各プロバイダーで同じ評価セットを実行してください。やり方は乗り換え前にモデルを評価するチェックリストにあります。