FP8 は、新しい GPU の多くがネイティブに扱える 8 ビットの数値形式です。大きなモデルを提供するとき、16 ビットから下げる最初の一歩になることがよくあります。
仕組み
浮動小数点数は、符号、指数、仮数でできています。Micikevicius らの FP8 論文は、どちらも符号ビットを 1 つ持つ 2 つのレイアウトを定義しています。
| エンコーディング | 指数ビット | 仮数ビット | トレードオフ |
|---|---|---|---|
| E4M3 | 4 | 3 | 精度が高い。vLLM が示す最大値は ±448 |
| E5M2 | 5 | 2 | 精度が低い。vLLM が示す最大値は ±57,344 |
E5M2 は特殊値について IEEE 754 のルールに従います。E4M3 は範囲を広げるために無限大を持たず、NaN のパターンも 1 つだけにしています。どちらも取り得る値は 256 通りしかないため、スケール係数を使って各テンソルを形式が表せる範囲に収めます。
量子化の形式としては、FP8 はふつう W8A8 として使います。重みと活性化の両方を 8 ビットにし、テンソル単位またはブロック単位でスケール係数を持たせます。論文は、最大 175B パラメーターのモデルで FP8 学習が 16 ビット学習と同等の品質になったと報告しています。また、“that resisted fixed point int8 quantization”(訳:固定小数点の int8 量子化ではうまくいかなかった)言語モデルでも FP8 の学習後量子化はうまくいったと述べています。指数があるぶん外れ値に強いためです。
FP8 はほかの形式の内部にも登場します。DeepSeek の DeepSeek V4.1 Flash のモデルカードによると、メインの KV キャッシュは 4 ビット浮動小数点で保存され、“one E4M3 scale per 16 channels”(訳:16 チャンネルごとに E4M3 のスケールを 1 つ)を持ちます。
なぜ重要か
vLLM のドキュメントは、FP8 によって “a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy.”(訳:モデルのメモリ要件が半分になり、精度への影響を最小限に抑えつつスループットが最大 1.6 倍向上する。)と述べています。事業者にとっては、モデルをより少ない GPU に載せられる、あるいは同じ GPU でより多くのリクエストを同時に処理できるということで、スループットが上がり、トークンあたりのコストが下がります。
API の利用者にとって、FP8 は量子化の中でも穏やかな部類です。vLLM は精度への影響は最小限だと報告していますが、それでも頼りにしているタスクはテストしてください。INT4 ほど攻めた選択ではありません。INT4 はメモリをより節約できる一方、難しいタスクでのリスクも大きくなります。
BroadNet Inference では
BroadNet のモデルカタログによると、本番環境の Gemma 4 26B A4B ビルドは KV キャッシュを FP8 で保存し、重みは INT4 AWQ です。これは BroadNet 自身の説明で、API ドキュメントにはほかのモデルの精度は書かれていません。監査や規制対象の業務で正確な数値形式が重要なら、BroadNet に直接問い合わせてください。実際に請求額に影響するものについては、料金ページのトークン単価を確認してください。