BroadRouter
始める

量子化(quantization)

更新日

量子化とは、ニューラルネットワークの数値(主に重み)を 16 ビットではなく 8 ビットや 4 ビットなどの低い精度で保存する処理です。モデルのメモリ使用量が減り、多くの場合は速く動きます。優れた手法では精度の低下を小さく抑えられます。

別名: モデルの量子化、LLM の量子化、量子化モデル、重みの量子化、4bit 量子化、quantization、model quantization、LLM quantization、quantized model、weight quantization

オープンモデルの多くは 16 ビットの重みで公開されています。量子化はその数値を小さくし、より少ない GPU にモデルを載せられるようにします。

しくみ

Hugging Face は量子化を「representing weights and activations with lower-precision data types like 8-bit integers (int8).」(訳:重みとアクティベーションを、8 ビット整数(int8)のような低精度のデータ型で表すこと)と説明しています。重みのブロックごとにスケール係数を持ち、重みは少数の段階に丸められ、実行時にスケールを掛けて元に戻されます。

重みのメモリは、パラメーターあたりのビット数に比例します。25.2B パラメーターを持つ Google の Gemma 4 26B A4B で計算してみます。

精度 重みあたりのバイト数 重みのみ
16 ビット(BF16) 2 25.2B × 2 = 50.4 GB
8 ビット(FP8 または INT8) 1 25.2 GB
4 ビット(INT4) 0.5 12.6 GB

これに加えて、KV キャッシュとアクティベーションの領域が必要です。

手法によって、何を量子化するか、段階をどう選ぶかが違います。

  • LLM.int8() は推論時のメモリを半分にし、少数の外れ値の特徴量を 16 ビットのまま残します。論文によると、99.9% を超える値は引き続き 8 ビットで計算されます。
  • GPTQ は 1 回で済む重みの量子化手法で、重みあたり 3 ビットまたは 4 ビットまで落としても「negligible accuracy degradation」(訳:精度の低下はごくわずか)で、175B のモデルを約 4 GPU 時間で量子化します。
  • 重みのみか、重みとアクティベーションの両方か。 重みのみの形式はメモリを節約します。対応するハードウェアなら、アクティベーションも量子化すると行列演算も速くなります。

なぜ重要か

API を呼ぶ側から見ると、量子化はリクエストには現れませんが、3 つの点に表れます。料金:モデルが小さいほど必要な GPU が減り、提供コストが下がります。速度:生成はメモリ帯域に律速されることが多いので、重みあたりのバイト数が減ると 1 秒あたりのトークン数が増えることがあります。品質:ビット数が少ないほど丸め誤差が増え、平均スコアは保っていても、頼りにしている特定のタスクで落ちることがあります。

2 つのプロバイダーが提供する「同じ」オープンモデルを比べて結果が違う場合、精度は有力な原因の 1 つです。

BroadNet Inference の場合

BroadNet の API リファレンスには、提供時の精度は記載されていません。モデルカタログでは、BroadNet Gemma 4 VL 26B として提供される本番の Gemma 4 26B A4B のビルドが、AWQ の 4 ビットの重みと FP8 の KV キャッシュとされています。ほかのモデルの API での精度は記載されていません。用途にとって精度が重要なら、各プロバイダーで同じ評価セットを実行してください。やり方は乗り換え前にモデルを評価するチェックリストにあります。

よくある質問

量子化するとモデルは悪くなりますか?

わずかに悪くなることがあります。LLM.int8() は 1,750 億(175B)パラメーターまでの 8 ビット推論で劣化なしと報告し、GPTQ は重みあたり 3 ビットまたは 4 ビットで損失はごくわずかと報告しています。ビット数が少ないほど、またタスクが難しいほどリスクは上がるので、ご自身のプロンプトでテストしてください。

API が量子化モデルを提供しているかどうかはわかりますか?

通常は、プロバイダーが明らかにしている場合だけです。どちらでも API が返す応答の形式は同じなので、ご自身のテストで出力を比べ、使っている精度をプロバイダーに問い合わせてください。

量子化でメモリはどれくらい節約できますか?

重みのメモリは重みあたりのビット数に比例します。25.2B パラメーターのモデルなら、16 ビットで約 50.4 GB、8 ビットで 25.2 GB、4 ビットで 12.6 GB です。これに KV キャッシュとアクティベーションの分が加わります。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く