Karamihan sa mga open model ay may 16-bit na weights. Pinaliliit ng quantization ang mga numerong iyon para magkasya ang model sa mas kaunting GPU.
Paano ito gumagana
Inilalarawan ng Hugging Face ang quantization bilang “representing weights and activations with lower-precision data types like 8-bit integers (int8).” (Salin ng BroadRouter: “pagrepresenta sa weights at activations gamit ang mga data type na mas mababa ang precision, gaya ng 8-bit integers (int8).”) May scale factor ang bawat block ng weights. Ini-round ang weights sa maliit na set ng mga level at pinarami ulit sa scale habang tumatakbo.
Sumasabay ang memory ng weights sa bilang ng bit kada parameter. Halimbawa ang Gemma 4 26B A4B ng Google, na may 25.2B parameter:
| Precision | Byte kada weight | Weights lang |
|---|---|---|
| 16-bit (BF16) | 2 | 25.2B × 2 = 50.4 GB |
| 8-bit (FP8 o INT8) | 1 | 25.2 GB |
| 4-bit (INT4) | 0.5 | 12.6 GB |
Kailangan pa ng dagdag na espasyo para sa KV cache at activations.
Nagkakaiba ang mga method sa kung ano ang kino-quantize at paano pinipili ang mga level:
- LLM.int8(): hinahati sa dalawa ang memory sa inference at pinananatili sa 16-bit ang ilang outlier feature; ayon sa paper, mahigit 99.9% ng mga value ang gumagamit pa rin ng 8-bit na kuwenta.
- GPTQ: isang one-shot na method para sa weights na umaabot sa 3 o 4 na bit kada weight nang may “negligible accuracy degradation” (halos walang pagbaba ng accuracy), at kayang i-quantize ang isang 175B na model sa mga apat na GPU hour.
- Weight-only vs weight-and-activation. Nakakatipid ng memory ang mga weight-only na format. Kapag kino-quantize din ang activations, puwede ring bumilis ang matrix math sa hardware na sumusuporta rito.
Bakit ito mahalaga
Para sa tumatawag ng API, hindi nakikita ang quantization sa request, pero lumalabas ito sa tatlong lugar. Presyo: mas kaunting GPU ang kailangan ng mas maliliit na model, kaya bumababa ang gastos sa pag-serve. Bilis: kadalasang limitado ng memory bandwidth ang generation, kaya ang mas kaunting byte kada weight ay puwedeng mangahulugan ng mas maraming tokens per second. Kalidad: mas maraming rounding error kapag mas kaunti ang bit, at puwedeng mapanatili ng model ang average na score nito habang bumababa sa mismong mga task na inaasahan mo.
Kung nagkukumpara ka ng dalawang provider na nagse-serve ng “parehong” open model at magkaiba ang resulta, isa sa malamang na dahilan ang precision.
Sa BroadNet Inference
Hindi sinasabi ng API reference ng BroadNet ang serving precision. Nakalista sa model catalogue nito ang production build ng Gemma 4 26B A4B, na inaalok bilang BroadNet Gemma 4 VL 26B, bilang AWQ 4-bit na weights na may FP8 na KV cache. Hindi nito sinasabi ang API precision ng ibang model. Kung mahalaga ang precision sa gamit mo, patakbuhin ang parehong evaluation set sa bawat provider; ipinapaliwanag ng checklist sa pag-evaluate ng model bago lumipat kung paano.