BroadRouter
始める

FP8(8 ビット浮動小数点)

更新日

FP8 とは、ディープラーニングで使われる 8 ビットの浮動小数点数形式です。指数 4 ビット・仮数 3 ビットの E4M3 と、指数 5 ビット・仮数 2 ビットの E5M2 の 2 種類があります。16 ビット形式に比べてメモリが半分になり、最近の GPU ではネイティブに動作します。

別名: 8 ビット浮動小数点、FP8 量子化、FP8 精度、E4M3、E5M2、W8A8 FP8、FP8、8-bit floating point、FP8 quantization

FP8 は、新しい GPU の多くがネイティブに扱える 8 ビットの数値形式です。大きなモデルを提供するとき、16 ビットから下げる最初の一歩になることがよくあります。

仕組み

浮動小数点数は、符号、指数、仮数でできています。Micikevicius らの FP8 論文は、どちらも符号ビットを 1 つ持つ 2 つのレイアウトを定義しています。

エンコーディング 指数ビット 仮数ビット トレードオフ
E4M3 4 3 精度が高い。vLLM が示す最大値は ±448
E5M2 5 2 精度が低い。vLLM が示す最大値は ±57,344

E5M2 は特殊値について IEEE 754 のルールに従います。E4M3 は範囲を広げるために無限大を持たず、NaN のパターンも 1 つだけにしています。どちらも取り得る値は 256 通りしかないため、スケール係数を使って各テンソルを形式が表せる範囲に収めます。

量子化の形式としては、FP8 はふつう W8A8 として使います。重みと活性化の両方を 8 ビットにし、テンソル単位またはブロック単位でスケール係数を持たせます。論文は、最大 175B パラメーターのモデルで FP8 学習が 16 ビット学習と同等の品質になったと報告しています。また、“that resisted fixed point int8 quantization”(訳:固定小数点の int8 量子化ではうまくいかなかった)言語モデルでも FP8 の学習後量子化はうまくいったと述べています。指数があるぶん外れ値に強いためです。

FP8 はほかの形式の内部にも登場します。DeepSeek の DeepSeek V4.1 Flash のモデルカードによると、メインの KV キャッシュは 4 ビット浮動小数点で保存され、“one E4M3 scale per 16 channels”(訳:16 チャンネルごとに E4M3 のスケールを 1 つ)を持ちます。

なぜ重要か

vLLM のドキュメントは、FP8 によって “a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy.”(訳:モデルのメモリ要件が半分になり、精度への影響を最小限に抑えつつスループットが最大 1.6 倍向上する。)と述べています。事業者にとっては、モデルをより少ない GPU に載せられる、あるいは同じ GPU でより多くのリクエストを同時に処理できるということで、スループットが上がり、トークンあたりのコストが下がります。

API の利用者にとって、FP8 は量子化の中でも穏やかな部類です。vLLM は精度への影響は最小限だと報告していますが、それでも頼りにしているタスクはテストしてください。INT4 ほど攻めた選択ではありません。INT4 はメモリをより節約できる一方、難しいタスクでのリスクも大きくなります。

BroadNet Inference では

BroadNet のモデルカタログによると、本番環境の Gemma 4 26B A4B ビルドは KV キャッシュを FP8 で保存し、重みは INT4 AWQ です。これは BroadNet 自身の説明で、API ドキュメントにはほかのモデルの精度は書かれていません。監査や規制対象の業務で正確な数値形式が重要なら、BroadNet に直接問い合わせてください。実際に請求額に影響するものについては、料金ページのトークン単価を確認してください。

よくある質問

FP8 と INT8 は同じですか?

いいえ。どちらも 8 ビットですが、FP8 は一部のビットを指数に使うため、表せる値の範囲が広い代わりに、値と値の間の精度は粗くなります。INT8 は 256 段階を等間隔に並べるので、適切なスケール係数への依存が大きくなります。

FP8 に対応している GPU は?

vLLM のドキュメントによると、FP8 演算に対応するのは Compute Capability 8.9 以上の NVIDIA GPU(Ada Lovelace、Hopper、Blackwell)と AMD MI300x です。古い Turing や Ampere のカードは FP8 の重みを読み込めますが、演算は 16 ビットで行います。

FP8 と INT4 はどう違いますか?

FP8 は指数を持つ 8 ビット形式で、ふつうは重みと活性化の両方に使います。INT4 は等間隔の 16 段階の整数で、ふつうは重みだけに使います。INT4 のほうがメモリを節約でき、FP8 のほうが精度面のリスクが小さくなります。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く