Ang FP8 ang 8-bit na number format na native na sinasalita ng karamihan sa mga bagong GPU. Madalas itong unang hakbang pababa mula 16-bit kapag nagse-serve ng malaking model.
Paano ito gumagana
May sign, exponent at mantissa ang isang floating-point na numero. Dalawang layout ang tinukoy ng FP8 paper nina Micikevicius et al., na tig-iisang sign bit:
| Encoding | Mga exponent bit | Mga mantissa bit | Trade-off |
|---|---|---|---|
| E4M3 | 4 | 3 | Mas maraming precision; ±448 ang maximum ayon sa vLLM |
| E5M2 | 5 | 2 | Mas kaunting precision; ±57,344 ang maximum ayon sa vLLM |
Sinusunod ng E5M2 ang mga patakaran ng IEEE 754 para sa mga special value. Isinusuko ng E4M3 ang mga infinity at iisang NaN pattern lang ang pinananatili para mapalawak ang range nito. Parehong 256 lang ang posibleng value nila, kaya may scale factor na nagma-map sa bawat tensor papunta sa range na sakop ng format.
Bilang target ng quantization, kadalasang ina-apply ang FP8 bilang W8A8: parehong 8-bit ang weights at activations, na may scale factor kada tensor o kada block. Iniuulat ng paper na kapantay ng FP8 ang kalidad ng 16-bit training sa mga model hanggang 175B parameter. Binabanggit din nito na gumana ang FP8 post-training quantization sa mga language model “that resisted fixed point int8 quantization” (Salin ng BroadRouter: “na hindi tumalab sa fixed-point int8 quantization”), dahil mas kaya ng exponent ang mga outlier.
Lumalabas din ang FP8 sa loob ng ibang format. Ayon sa card ng DeepSeek para sa DeepSeek V4.1 Flash, iniimbak nito ang pangunahing KV cache sa 4-bit float na may “one E4M3 scale per 16 channels” (isang E4M3 scale kada 16 na channel).
Bakit ito mahalaga
Sinasabi ng docs ng vLLM na nagbibigay ang FP8 ng “a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy.” (Salin ng BroadRouter: “2x na pagbaba sa memory na kailangan ng model at hanggang 1.6x na pagbuti ng throughput na may kaunting epekto lang sa accuracy.”) Para sa provider, ibig sabihin nito ay kasya ang model sa mas kaunting GPU, o mas maraming request nang sabay ang kaya ng parehong mga GPU, na nagpapataas ng throughput at nagpapababa ng gastos kada token.
Para sa API user, ang FP8 ang banayad na dulo ng quantization: kaunting epekto lang sa accuracy ang iniuulat ng vLLM, pero dapat mo pa ring i-test ang mga task na inaasahan mo. Mas hindi ito agresibo kaysa sa INT4, na mas malaki ang natitipid na memory pero mas mapanganib sa mahihirap na task.
Sa BroadNet Inference
Sinasabi ng model catalogue ng BroadNet na iniimbak ng production build nito ng Gemma 4 26B A4B ang KV cache sa FP8, na may INT4 AWQ na weights. Paglalarawan iyan ng BroadNet mismo; hindi sinasabi ng API docs ang precision ng ibang model. Kung mahalaga ang eksaktong number format para sa isang audit o regulated na workflow, direktang magtanong sa BroadNet. Para sa talagang nakakaapekto sa bill mo, tingnan ang mga per-token na presyo sa pricing page.