---
title: "Ano ang INT4 quantization? 4-bit na weights ng LLM | BroadRouter"
description: "Iniimbak ng INT4 ang bawat weight ng LLM bilang 4-bit na integer, sangkapat ng 16-bit. Paano gumagana ang 4-bit quantization, GPTQ at AWQ, at ang mga panganib."
url: https://broadrouter.com/fil/glossary/int4/
lang: fil
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/glossary/int4/) (na-update noong 2026-11-16).

# INT4

Na-update 2026-11-16

Ang INT4 ay 4-bit na integer number format na kayang mag-represent ng 16 na level. Sa LLM inference, kadalasan itong tumutukoy sa 4-bit weight-only quantization (W4A16): iniimbak ang weights bilang INT4 kasama ng mga scale factor at pinalalawak sa 16-bit habang nagkukuwenta, kaya mga sangkapat lang ng memory ng 16-bit na weights ang gamit.

Tinatawag ding: 4-bit quantization, W4A16, 4-bit integer, INT4 weight-only, 4-bit LLM, 4-bit na model

Sa INT4, nagiging agresibo na ang quantization: 16 na posibleng value lang ang bawat weight.

## Paano ito gumagana

Inilalarawan ng precision guide ng TensorRT-LLM ang karaniwang anyo, ang **W4A16**: kino-quantize ang weights sa 4 bit at dine-dequantize “on-the-fly” (Salin ng BroadRouter: “habang tumatakbo”) sa loob ng matrix multiply, habang nananatili sa FP16 o BF16 ang activations. Sinusuportahan ng TensorRT-LLM ang per-group na scaling factor: may sariling scale ang bawat maliit na grupo ng weights para masakop ng 16 na level ang tamang range. Nagse-save ang INT4 example ng vLLM ng `W4A16-G128` na checkpoint, isang grupo kada 128 weight.

Masyadong maraming nawawala sa simpleng pag-round sa 16 na level, kaya mas matalino ang mga sikat na method:

-   **GPTQ**: gumagamit ng approximate na second-order information para piliin ang mga rounding na naglilimita sa error ng output. Iniuulat ng paper ang 3 o 4 na bit kada weight na halos walang nawawala, sapat para patakbuhin ang isang 175B na model sa iisang GPU.
-   **AWQ**: napansin nitong “not all weights in an LLM are equally important.” (Salin ng BroadRouter: “hindi pare-pareho ang halaga ng lahat ng weights sa isang LLM.”) Malaki ang nababawas sa error kapag pinoprotektahan ang mga 1% ng mahahalagang channel, na nahahanap mula sa activation statistics. Iniuulat ng TinyChat runtime nito ang higit sa 3 beses na pagbilis para sa mga 4-bit na model sa mga device.

## Bakit ito mahalaga

Malaki ang natitipid na memory. Sa 0.5 byte kada weight, sangkapat ng 16-bit na laki ang weights ng isang model. Para sa model na may 25.2B parameter: 25.2B × 2 byte = 50.4 GB sa BF16, laban sa 25.2B × 0.5 byte = 12.6 GB sa INT4, plus kaunti para sa mga scale factor. Kadalasang limitado ang bilis ng generation sa kung gaano kabilis dumadaloy ang weights mula sa memory, kaya puwede ring bawasan ng 4-bit na weights ang [latency](https://broadrouter.com/fil/glossary/latency/). Ayon sa docs ng vLLM, pinakakapaki-pakinabang ang INT4 W4A16 para panatilihing mababa ang latency “in workloads with low queries per second” (Salin ng BroadRouter: “sa mga workload na mababa ang queries per second”). Sa mataas na load, mas bumibigat ang gastos ng pag-dequantize ng weights at lumiliit ang pakinabang.

Dahil 16 na level lang, mas malaki ang rounding error kaysa sa [FP8](https://broadrouter.com/fil/glossary/fp8/), kaya nga may GPTQ at AWQ. Puwedeng itago ng average na benchmark score ang mga pagbaba sa mga task na mahalaga sa iyo, gaya ng mahabang reasoning, eksaktong arithmetic, code o isang hindi gaanong karaniwang wika. Kung mas mahina ang INT4 build kaysa sa 16-bit na bersyon sa sarili mong test set, paniwalaan ang test mo.

Madalas na kandidato sa INT4 ang mga [mixture-of-experts](https://broadrouter.com/fil/glossary/mixture-of-experts/) na model, dahil kailangang magkasya sa memory ang lahat ng expert kahit kakaunti lang ang tumatakbo kada token.

## Sa BroadNet Inference

Sinasabi ng [model catalogue](https://www.broadnet.ai/inference/models) ng BroadNet na AWQ 4-bit na weights ang gamit ng production build nito ng Gemma 4 26B A4B (API ID `broadnet/gemma-4-26b-a4b`), kasama ang multi-token prediction at FP8 na KV cache. Sariling paglalarawan iyon ng BroadNet; hindi sinasabi ng API docs ang precision ng ibang model. Kung pumipili ka sa pagitan ng pag-self-host ng 4-bit na model at pagtawag sa isang API, makakatulong ang [paghahambing ng gastos sa self-hosting](https://broadrouter.com/fil/blog/self-hosting-llm-vs-api-cost/) at ang [LLM API cost calculator](https://broadrouter.com/tools/llm-api-cost-calculator/) para ikumpara ang kabuuan.

## Mga tanong

### Gaano kalaking memory ang natitipid ng INT4?

Kalahating byte na lang ang bawat weight sa halip na dalawa, kaya mga sangkapat ng 16-bit na laki, plus maliit na overhead para sa mga scale factor. Ang model na may 25.2B parameter ay bumababa mula mga 50.4 GB hanggang mga 12.6 GB ng weights.

### Pareho ba ang INT4 at NF4 o FP4?

Hindi. Lahat sila ay 4 bit, pero hindi pantay ang pagkakalatag ng 16 na level ng NF4 at FP4, samantalang pantay ang pagitan sa INT4. FP4 at NF4 ang inaalok ng bitsandbytes integration ng Hugging Face; kadalasang INT4 ang gamit ng mga GPTQ at AWQ checkpoint.

### Pinapabilis ba ng INT4 ang model?

Madalas, kapag mababa ang load, dahil limitado ang generation sa pagbasa ng weights mula sa memory at mas maliit ang 4-bit na weights. Ayon sa docs ng vLLM, pinakanakatutulong ang INT4 W4A16 sa mga workload na mababa ang queries per second; kapag mabigat ang load, lumiliit ang pakinabang.

## Tingnan din

-   [Quantization](https://broadrouter.com/fil/glossary/quantization/) (termino)
-   [FP8](https://broadrouter.com/fil/glossary/fp8/) (termino)
-   [Mixture of experts (MoE)](https://broadrouter.com/fil/glossary/mixture-of-experts/) (termino)
-   [Latency](https://broadrouter.com/fil/glossary/latency/) (termino)
-   [AWQ (activation-aware weight quantization)](https://broadrouter.com/fil/glossary/awq/) (termino)
-   [Paano gamitin ang OpenAI Python SDK sa BroadNet Inference](https://broadrouter.com/fil/guides/openai-python-sdk/) (gabay)
-   [Self-hosting ng LLM vs API: ang tunay na gastos at break-even](https://broadrouter.com/fil/blog/self-hosting-llm-vs-api-cost/) (artikulo)
-   [Open-weight vs closed na AI model sa negosyo: gastos, kontrol, risk](https://broadrouter.com/fil/blog/open-weight-vs-closed-models/) (artikulo)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-glossary-int4&utm_content=page-cta) ·

**Mga source**

-   [Model catalogue ng BroadNet (Gemma 4 26B A4B, AWQ 4-bit) (Ingles)](https://www.broadnet.ai/inference/models)
-   [NVIDIA TensorRT-LLM, numerical precision (INT4 at INT8 weight-only)](https://nvidia.github.io/TensorRT-LLM/reference/precision.html)
-   [Lin et al., AWQ, Activation-aware Weight Quantization, arXiv 2306.00978](https://arxiv.org/abs/2306.00978)
-   [Frantar et al., GPTQ, arXiv 2210.17323](https://arxiv.org/abs/2210.17323)
-   [Docs ng vLLM, INT4 W4A16 quantization](https://docs.vllm.ai/en/latest/features/quantization/llm_compressor/int4/)
-   [Docs ng Hugging Face Transformers, bitsandbytes (NF4 at FP4 na 4-bit type) (sinuri noong 2026-11-16)](https://huggingface.co/docs/transformers/main/en/quantization/bitsandbytes)
