BroadRouter
Mulai

FP8

Diperbarui

FP8 adalah format bilangan floating-point 8-bit yang dipakai dalam deep learning, didefinisikan dalam dua encoding: E4M3, dengan 4 bit eksponen dan 3 bit mantissa, dan E5M2, dengan 5 bit eksponen dan 2 bit mantissa. FP8 memangkas memori menjadi separuh dibanding format 16-bit dan berjalan native di GPU terbaru.

Disebut juga: FP8, floating point 8-bit, format FP8, kuantisasi FP8, E4M3, E5M2, 8-bit floating point, FP8 quantization, W8A8 FP8

FP8 adalah format bilangan 8-bit yang didukung native oleh sebagian besar GPU baru. Saat melayani model besar, FP8 sering menjadi langkah pertama turun dari 16-bit.

Cara kerjanya

Bilangan floating-point punya tanda, eksponen, dan mantissa. Makalah FP8 karya Micikevicius dkk. mendefinisikan dua tata letak, masing-masing dengan satu bit tanda:

Encoding Bit eksponen Bit mantissa Trade-off
E4M3 4 3 Presisi lebih tinggi; vLLM mencantumkan nilai maksimum ±448
E5M2 5 2 Presisi lebih rendah; vLLM mencantumkan nilai maksimum ±57.344

E5M2 mengikuti aturan IEEE 754 untuk nilai khusus. E4M3 melepas nilai tak hingga dan hanya menyimpan satu pola NaN untuk memperlebar rentangnya. Keduanya hanya punya 256 nilai yang mungkin, jadi faktor skala memetakan setiap tensor ke rentang yang dicakup format itu.

Sebagai target kuantisasi, FP8 biasanya diterapkan sebagai W8A8: bobot dan aktivasi sama-sama 8-bit, dengan faktor skala per tensor atau per blok. Makalah itu melaporkan FP8 menyamai kualitas pelatihan 16-bit pada model hingga 175B parameter. Makalah itu juga mencatat bahwa kuantisasi pasca-pelatihan FP8 berhasil pada model bahasa “that resisted fixed point int8 quantization” (terjemahan: yang sulit dikuantisasi ke int8 fixed point), karena eksponen lebih mampu menangani outlier.

FP8 juga muncul di dalam format lain. Kartu DeepSeek untuk DeepSeek V4.1 Flash menyimpan KV cache utamanya dalam float 4-bit dengan “one E4M3 scale per 16 channels” (terjemahan: satu skala E4M3 per 16 kanal).

Mengapa penting

Dokumentasi vLLM menyatakan bahwa FP8 memberikan “a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy” (terjemahan: pengurangan kebutuhan memori model 2x dan peningkatan throughput hingga 1,6x dengan dampak minimal pada akurasi). Bagi penyedia, artinya model muat di lebih sedikit GPU, atau GPU yang sama bisa menampung lebih banyak request sekaligus, yang menaikkan throughput dan menurunkan biaya per token.

Bagi pengguna API, FP8 adalah ujung kuantisasi yang ringan: vLLM melaporkan dampak akurasi yang minimal, meski Anda tetap perlu menguji tugas yang Anda andalkan. Langkah ini tidak seagresif INT4, yang menghemat lebih banyak memori tetapi lebih berisiko pada tugas yang sulit.

Di BroadNet Inference

Katalog model BroadNet menyebutkan bahwa build Gemma 4 26B A4B produksinya menyimpan KV cache dalam FP8, dengan bobot AWQ INT4. Itu adalah deskripsi BroadNet sendiri; dokumentasi API tidak menyebutkan presisi model lainnya. Jika format bilangan yang tepat penting untuk audit atau alur kerja yang diatur regulasi, tanyakan langsung ke BroadNet. Untuk hal yang benar-benar memengaruhi tagihan Anda, lihat harga per token di halaman harga.

Pertanyaan umum

Apakah FP8 sama dengan INT8?

Tidak. Keduanya memakai 8 bit, tetapi FP8 memakai sebagian bit untuk eksponen, sehingga mencakup rentang besaran yang lebih lebar dengan presisi lebih rendah di antaranya. INT8 menyebar 256 levelnya secara merata dan lebih bergantung pada faktor skala yang baik.

GPU apa saja yang mendukung FP8?

Dokumentasi vLLM mencantumkan komputasi FP8 pada GPU NVIDIA dengan compute capability 8.9 ke atas (Ada Lovelace, Hopper, Blackwell) dan AMD MI300x. Kartu Turing dan Ampere yang lebih lama bisa memuat bobot FP8 tetapi menghitung dalam 16-bit.

Apa bedanya FP8 dengan INT4?

FP8 memakai 8 bit dengan eksponen dan biasanya diterapkan pada bobot dan aktivasi. INT4 memakai 16 level integer yang berjarak sama dan biasanya hanya diterapkan pada bobot. INT4 menghemat lebih banyak memori; FP8 membawa risiko akurasi yang lebih kecil.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity