---
title: "Ano ang quantization sa LLM? Mas kaunting bit kada weight"
description: "Iniimbak ng quantization ang weights (at minsan activations) ng LLM sa mas kaunting bit para tipid sa GPU memory at bumilis ang inference. Format, memory, kalidad."
url: https://broadrouter.com/fil/glossary/quantization/
lang: fil
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/glossary/quantization/) (na-update noong 2026-11-14).

# Quantization

Na-update 2026-11-14

Ang quantization ay ang proseso ng pag-iimbak ng mga numero ng isang neural network, pangunahin ang weights nito, sa format na mas mababa ang precision gaya ng 8-bit o 4-bit sa halip na 16-bit, para mas kaunti ang memory na gamit ng model at kadalasang mas bumilis ito. Maliit lang ang nababawas sa accuracy sa mahuhusay na method.

Tinatawag ding: quantized model, model quantization, LLM quantization, weight quantization, 4-bit na model, 8-bit na model

Karamihan sa mga open model ay may 16-bit na weights. Pinaliliit ng quantization ang mga numerong iyon para magkasya ang model sa mas kaunting GPU.

## Paano ito gumagana

Inilalarawan ng Hugging Face ang quantization bilang “representing weights and activations with lower-precision data types like 8-bit integers (int8).” (Salin ng BroadRouter: “pagrepresenta sa weights at activations gamit ang mga data type na mas mababa ang precision, gaya ng 8-bit integers (int8).”) May scale factor ang bawat block ng weights. Ini-round ang weights sa maliit na set ng mga level at pinarami ulit sa scale habang tumatakbo.

Sumasabay ang memory ng weights sa bilang ng bit kada parameter. Halimbawa ang Gemma 4 26B A4B ng Google, na may 25.2B parameter:

| Precision | Byte kada weight | Weights lang |
| --- | --- | --- |
| 16-bit (BF16) | 2 | 25.2B × 2 = 50.4 GB |
| 8-bit ([FP8](https://broadrouter.com/fil/glossary/fp8/) o INT8) | 1 | 25.2 GB |
| 4-bit ([INT4](https://broadrouter.com/fil/glossary/int4/)) | 0.5 | 12.6 GB |

Kailangan pa ng dagdag na espasyo para sa [KV cache](https://broadrouter.com/fil/glossary/kv-cache/) at activations.

Nagkakaiba ang mga method sa kung ano ang kino-quantize at paano pinipili ang mga level:

-   **LLM.int8()**: hinahati sa dalawa ang memory sa inference at pinananatili sa 16-bit ang ilang outlier feature; ayon sa paper, mahigit 99.9% ng mga value ang gumagamit pa rin ng 8-bit na kuwenta.
-   **GPTQ**: isang one-shot na method para sa weights na umaabot sa 3 o 4 na bit kada weight nang may “negligible accuracy degradation” (halos walang pagbaba ng accuracy), at kayang i-quantize ang isang 175B na model sa mga apat na GPU hour.
-   **Weight-only vs weight-and-activation.** Nakakatipid ng memory ang mga weight-only na format. Kapag kino-quantize din ang activations, puwede ring bumilis ang matrix math sa hardware na sumusuporta rito.

## Bakit ito mahalaga

Para sa tumatawag ng API, hindi nakikita ang quantization sa request, pero lumalabas ito sa tatlong lugar. Presyo: mas kaunting GPU ang kailangan ng mas maliliit na model, kaya bumababa ang gastos sa pag-serve. Bilis: kadalasang limitado ng memory bandwidth ang generation, kaya ang mas kaunting byte kada weight ay puwedeng mangahulugan ng mas maraming [tokens per second](https://broadrouter.com/fil/glossary/tokens-per-second/). Kalidad: mas maraming rounding error kapag mas kaunti ang bit, at puwedeng mapanatili ng model ang average na score nito habang bumababa sa mismong mga task na inaasahan mo.

Kung nagkukumpara ka ng dalawang provider na nagse-serve ng “parehong” open model at magkaiba ang resulta, isa sa malamang na dahilan ang precision.

## Sa BroadNet Inference

Hindi sinasabi ng API reference ng BroadNet ang serving precision. Nakalista sa model catalogue nito ang production build ng Gemma 4 26B A4B, na inaalok bilang [BroadNet Gemma 4 VL 26B](https://broadrouter.com/fil/models/gemma-4-vl-26b/), bilang AWQ 4-bit na weights na may FP8 na KV cache. Hindi nito sinasabi ang API precision ng ibang model. Kung mahalaga ang precision sa gamit mo, patakbuhin ang parehong evaluation set sa bawat provider; ipinapaliwanag ng [checklist sa pag-evaluate ng model bago lumipat](https://broadrouter.com/fil/blog/evaluate-llm-before-switching/) kung paano.

## Mga tanong

### Pinapasama ba ng quantization ang model?

Minsan, nang bahagya. Iniuulat ng LLM.int8() na walang pagbaba ng kalidad sa 8-bit na inference hanggang 175B parameter, at iniuulat ng GPTQ na halos walang nawawala sa 3 o 4 na bit kada weight. Tumataas ang panganib sa mas kaunting bit at mas mahihirap na task, kaya mag-test sa sarili mong mga prompt.

### Malalaman ko ba kung quantized na model ang sine-serve ng isang API?

Kadalasan, kung sasabihin lang ng provider. Pareho ang hitsura ng response alinman dito, kaya ikumpara ang mga output sa sarili mong mga test at itanong sa provider kung anong precision ang gamit nito.

### Gaano kalaking memory ang natitipid ng quantization?

Sumasabay ang memory ng weights sa bilang ng bit kada weight. Ang model na may 25.2B parameter ay nangangailangan ng mga 50.4 GB sa 16-bit, 25.2 GB sa 8-bit at 12.6 GB sa 4-bit, bago pa ang KV cache at activations.

## Tingnan din

-   [FP8](https://broadrouter.com/fil/glossary/fp8/) (termino)
-   [INT4](https://broadrouter.com/fil/glossary/int4/) (termino)
-   [KV cache](https://broadrouter.com/fil/glossary/kv-cache/) (termino)
-   [Mixture of experts (MoE)](https://broadrouter.com/fil/glossary/mixture-of-experts/) (termino)
-   [Open-weight model](https://broadrouter.com/fil/glossary/open-weight-model/) (termino)
-   [AWQ (activation-aware weight quantization)](https://broadrouter.com/fil/glossary/awq/) (termino)
-   [GGUF](https://broadrouter.com/fil/glossary/gguf/) (termino)
-   [Paano gamitin ang OpenAI Python SDK sa BroadNet Inference](https://broadrouter.com/fil/guides/openai-python-sdk/) (gabay)
-   [Open-weight vs closed na AI model sa negosyo: gastos, kontrol, risk](https://broadrouter.com/fil/blog/open-weight-vs-closed-models/) (artikulo)
-   [Self-hosting ng LLM vs API: ang tunay na gastos at break-even](https://broadrouter.com/fil/blog/self-hosting-llm-vs-api-cost/) (artikulo)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-glossary-quantization&utm_content=page-cta) ·

**Mga source**

-   [Hugging Face Transformers, quantization reference](https://huggingface.co/docs/transformers/en/main_classes/quantization)
-   [Dettmers et al., LLM.int8() 8-bit Matrix Multiplication for Transformers at Scale, arXiv 2208.07339](https://arxiv.org/abs/2208.07339)
-   [Frantar et al., GPTQ, Accurate Post-Training Quantization for Generative Pre-trained Transformers, arXiv 2210.17323](https://arxiv.org/abs/2210.17323)
-   [Google, model card ng Gemma 4 26B A4B (bilang ng parameter)](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [Model catalogue ng BroadNet (mga sukat sa lab, Setyembre 2026) (Ingles)](https://www.broadnet.ai/inference/models)
