FP8 ialah format nombor 8-bit yang difahami secara asli oleh kebanyakan GPU baharu. Ia sering menjadi langkah pertama turun daripada 16-bit apabila menyediakan model besar.
Cara ia berfungsi
Nombor titik apung mempunyai tanda, eksponen dan mantisa. Kertas kajian FP8 oleh Micikevicius et al. mentakrifkan dua susun atur, setiap satu dengan satu bit tanda:
| Pengekodan | Bit eksponen | Bit mantisa | Pertukaran |
|---|---|---|---|
| E4M3 | 4 | 3 | Ketepatan lebih tinggi; vLLM menyenaraikan maksimum ±448 |
| E5M2 | 5 | 2 | Ketepatan lebih rendah; vLLM menyenaraikan maksimum ±57,344 |
E5M2 mengikut peraturan IEEE 754 untuk nilai khas. E4M3 melepaskan infiniti dan mengekalkan satu corak NaN sahaja untuk meluaskan julatnya. Kedua-duanya hanya mempunyai 256 nilai yang mungkin, jadi faktor skala memetakan setiap tensor ke dalam julat yang diliputi format itu.
Sebagai sasaran kuantisasi, FP8 biasanya digunakan sebagai W8A8: pemberat dan activation kedua-duanya dalam 8-bit, dengan faktor skala bagi setiap tensor atau setiap blok. Kertas kajian itu melaporkan FP8 menyamai kualiti latihan 16-bit pada model sehingga 175B parameter. Ia juga menyatakan kuantisasi pasca latihan FP8 berjaya pada model bahasa “that resisted fixed point int8 quantization” (Terjemahan BroadRouter: “yang tidak dapat dikuantisasi dengan int8 titik tetap”), kerana eksponen lebih mampu mengendalikan outlier.
FP8 juga muncul di dalam format lain. Kad DeepSeek untuk DeepSeek V4.1 Flash menyimpan KV cache utamanya dalam float 4-bit dengan “one E4M3 scale per 16 channels” (satu skala E4M3 bagi setiap 16 saluran).
Mengapa ia penting
Dokumentasi vLLM menyatakan bahawa FP8 memberikan “a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy.” (Terjemahan BroadRouter: “pengurangan 2x dalam keperluan memori model dan peningkatan daya pemprosesan sehingga 1.6x dengan kesan minimum pada ketepatan.”) Bagi penyedia, ini bermakna model muat pada lebih sedikit GPU, atau GPU yang sama dapat menampung lebih banyak permintaan serentak, yang menaikkan daya pemprosesan dan menurunkan kos setiap token.
Bagi pengguna API, FP8 ialah hujung kuantisasi yang ringan: vLLM melaporkan kesan minimum pada ketepatan, walaupun anda masih perlu menguji tugas yang anda harapkan. Ia langkah yang kurang agresif berbanding INT4, yang menjimatkan lebih banyak memori tetapi membawa risiko lebih tinggi pada tugas yang sukar.
Di BroadNet Inference
Katalog model BroadNet menyatakan binaan produksi Gemma 4 26B A4B miliknya menyimpan KV cache dalam FP8, dengan pemberat AWQ INT4. Itu penerangan BroadNet sendiri; dokumentasi API tidak menyatakan ketepatan model lain. Jika format nombor yang tepat penting untuk audit atau aliran kerja yang dikawal selia, tanya BroadNet secara terus. Untuk perkara yang memang mempengaruhi bil anda, lihat harga setiap token di halaman harga.