BroadRouter
Mulakan

FP8

Dikemas kini

FP8 ialah format nombor titik apung 8-bit yang digunakan dalam pembelajaran mendalam, ditakrifkan dalam dua pengekodan: E4M3, dengan 4 bit eksponen dan 3 bit mantisa, dan E5M2, dengan 5 bit eksponen dan 2 bit mantisa. Ia menjimatkan separuh memori berbanding format 16-bit dan berjalan secara asli pada GPU terkini.

Juga dikenali sebagai: FP8, titik apung 8-bit, 8-bit floating point, E4M3, E5M2, FP8 quantization, kuantisasi FP8, W8A8 FP8

FP8 ialah format nombor 8-bit yang difahami secara asli oleh kebanyakan GPU baharu. Ia sering menjadi langkah pertama turun daripada 16-bit apabila menyediakan model besar.

Cara ia berfungsi

Nombor titik apung mempunyai tanda, eksponen dan mantisa. Kertas kajian FP8 oleh Micikevicius et al. mentakrifkan dua susun atur, setiap satu dengan satu bit tanda:

Pengekodan Bit eksponen Bit mantisa Pertukaran
E4M3 4 3 Ketepatan lebih tinggi; vLLM menyenaraikan maksimum ±448
E5M2 5 2 Ketepatan lebih rendah; vLLM menyenaraikan maksimum ±57,344

E5M2 mengikut peraturan IEEE 754 untuk nilai khas. E4M3 melepaskan infiniti dan mengekalkan satu corak NaN sahaja untuk meluaskan julatnya. Kedua-duanya hanya mempunyai 256 nilai yang mungkin, jadi faktor skala memetakan setiap tensor ke dalam julat yang diliputi format itu.

Sebagai sasaran kuantisasi, FP8 biasanya digunakan sebagai W8A8: pemberat dan activation kedua-duanya dalam 8-bit, dengan faktor skala bagi setiap tensor atau setiap blok. Kertas kajian itu melaporkan FP8 menyamai kualiti latihan 16-bit pada model sehingga 175B parameter. Ia juga menyatakan kuantisasi pasca latihan FP8 berjaya pada model bahasa “that resisted fixed point int8 quantization” (Terjemahan BroadRouter: “yang tidak dapat dikuantisasi dengan int8 titik tetap”), kerana eksponen lebih mampu mengendalikan outlier.

FP8 juga muncul di dalam format lain. Kad DeepSeek untuk DeepSeek V4.1 Flash menyimpan KV cache utamanya dalam float 4-bit dengan “one E4M3 scale per 16 channels” (satu skala E4M3 bagi setiap 16 saluran).

Mengapa ia penting

Dokumentasi vLLM menyatakan bahawa FP8 memberikan “a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy.” (Terjemahan BroadRouter: “pengurangan 2x dalam keperluan memori model dan peningkatan daya pemprosesan sehingga 1.6x dengan kesan minimum pada ketepatan.”) Bagi penyedia, ini bermakna model muat pada lebih sedikit GPU, atau GPU yang sama dapat menampung lebih banyak permintaan serentak, yang menaikkan daya pemprosesan dan menurunkan kos setiap token.

Bagi pengguna API, FP8 ialah hujung kuantisasi yang ringan: vLLM melaporkan kesan minimum pada ketepatan, walaupun anda masih perlu menguji tugas yang anda harapkan. Ia langkah yang kurang agresif berbanding INT4, yang menjimatkan lebih banyak memori tetapi membawa risiko lebih tinggi pada tugas yang sukar.

Di BroadNet Inference

Katalog model BroadNet menyatakan binaan produksi Gemma 4 26B A4B miliknya menyimpan KV cache dalam FP8, dengan pemberat AWQ INT4. Itu penerangan BroadNet sendiri; dokumentasi API tidak menyatakan ketepatan model lain. Jika format nombor yang tepat penting untuk audit atau aliran kerja yang dikawal selia, tanya BroadNet secara terus. Untuk perkara yang memang mempengaruhi bil anda, lihat harga setiap token di halaman harga.

Soalan lazim

Adakah FP8 sama dengan INT8?

Tidak. Kedua-duanya menggunakan 8 bit, tetapi FP8 memperuntukkan sebahagian bit untuk eksponen, jadi ia meliputi julat magnitud yang lebih luas dengan ketepatan yang kurang di antaranya. INT8 menjarakkan 256 tahapnya secara sekata dan lebih bergantung pada faktor skala yang baik.

GPU manakah yang menyokong FP8?

Dokumentasi vLLM menyenaraikan pengiraan FP8 pada GPU NVIDIA dengan compute capability 8.9 atau lebih tinggi (Ada Lovelace, Hopper, Blackwell) dan AMD MI300x. Kad Turing dan Ampere yang lebih lama boleh memuatkan pemberat FP8 tetapi mengira dalam 16-bit.

Apakah beza FP8 dengan INT4?

FP8 menggunakan 8 bit dengan eksponen dan biasanya digunakan pada pemberat dan activation. INT4 menggunakan 16 tahap integer yang dijarakkan sekata dan biasanya digunakan pada pemberat sahaja. INT4 menjimatkan lebih banyak memori; FP8 membawa risiko ketepatan yang lebih rendah.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity