---
title: "INT4 क्वांटाइज़ेशन क्या है? 4-bit LLM weights | BroadRouter"
description: "INT4 हर LLM weight को 4-bit integer में रखता है, 16-bit साइज़ का एक चौथाई। 4-bit weight-only क्वांटाइज़ेशन, GPTQ और AWQ कैसे काम करते हैं, और क्वालिटी के जोखिम।"
url: https://broadrouter.com/hi/glossary/int4/
lang: hi
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

यह पेज अंग्रेज़ी से AI की मदद से अनुवाद किया गया है। [अंग्रेज़ी मूल पढ़ें](https://broadrouter.com/glossary/int4/) (2026-11-16 को अपडेट किया गया).

# INT4 (4-bit क्वांटाइज़ेशन)

अपडेट किया गया 2026-11-16

INT4 एक 4-bit integer नंबर फ़ॉर्मैट है जो 16 स्तर दर्शा सकता है। LLM इन्फ़रेंस में इसका मतलब आम तौर पर 4-bit weight-only क्वांटाइज़ेशन (W4A16) होता है: weights scale factors के साथ INT4 में रखे जाते हैं और गणना के दौरान 16-bit में फैलाए जाते हैं, जिससे 16-bit weights की लगभग एक चौथाई मेमोरी लगती है।

अन्य नाम: 4-bit क्वांटाइज़ेशन, INT4 क्वांटाइज़ेशन, int4 kya hai, 4 bit quantization kya hai, INT4, 4-bit quantization, W4A16, 4-bit integer, INT4 weight-only, 4-bit LLM

INT4 वह जगह है जहाँ क्वांटाइज़ेशन आक्रामक हो जाता है: हर weight को सिर्फ़ 16 संभावित वैल्यू मिलती हैं।

## यह कैसे काम करता है

TensorRT-LLM की प्रिसिज़न गाइड आम रूप, **W4A16**, को बताती है: weights 4 bit में क्वांटाइज़ होते हैं और matrix multiply के अंदर “on-the-fly” (चलते-चलते) dequantize होते हैं, जबकि activations FP16 या BF16 में रहते हैं। TensorRT-LLM per-group scaling factors सपोर्ट करता है: weights के हर छोटे समूह को अपना scale मिलता है, ताकि 16 स्तर सही रेंज कवर करें। vLLM का INT4 उदाहरण `W4A16-G128` चेकपॉइंट सहेजता है, यानी हर 128 weights पर एक समूह।

सीधे 16 स्तरों पर राउंड करने में बहुत नुक़सान होता है, इसलिए लोकप्रिय तरीक़े इसे ज़्यादा समझदारी से करते हैं:

-   **GPTQ** अनुमानित second-order जानकारी से ऐसी राउंडिंग चुनता है जो आउटपुट एरर को सीमित रखे। पेपर प्रति weight 3 या 4 bit पर नगण्य नुक़सान बताता है, जो 175B मॉडल को एक GPU पर चलाने के लिए काफ़ी है।
-   **AWQ** यह देखता है कि “not all weights in an LLM are equally important.” (अनुवाद: LLM के सभी weights बराबर अहम नहीं होते।) activation के आँकड़ों से पहचाने गए लगभग 1% अहम चैनल बचाने से एरर काफ़ी घटता है। इसका TinyChat रनटाइम डिवाइस पर 4-bit मॉडल के लिए 3 गुना से ज़्यादा स्पीडअप बताता है।

## यह क्यों मायने रखता है

मेमोरी की बचत बड़ी है। प्रति weight 0.5 बाइट पर, मॉडल के weights अपने 16-bit साइज़ का एक चौथाई लेते हैं। 25.2B पैरामीटर वाले मॉडल के लिए: BF16 में 25.2B × 2 बाइट = 50.4 GB, जबकि INT4 में 25.2B × 0.5 बाइट = 12.6 GB, साथ में scale factors के लिए थोड़ा और। जनरेशन की रफ़्तार अक्सर इस बात से सीमित होती है कि weights मेमोरी से कितनी तेज़ी से आते हैं, इसलिए 4-bit weights [latency](https://broadrouter.com/hi/glossary/latency/) भी घटा सकते हैं। vLLM के डॉक्स कहते हैं कि INT4 W4A16 latency कम रखने के लिए “in workloads with low queries per second” (अनुवाद: कम queries per second वाले वर्कलोड में) सबसे उपयोगी है। ज़्यादा लोड पर weights को dequantize करने की लागत ज़्यादा मायने रखती है और फ़ायदा घट जाता है।

सिर्फ़ 16 स्तरों के साथ राउंडिंग एरर [FP8](https://broadrouter.com/hi/glossary/fp8/) से बड़ा होता है, और इसी वजह से GPTQ और AWQ बने ही हैं। औसत बेंचमार्क स्कोर उन टास्क पर नुक़सान छिपा सकता है जिनकी आपको परवाह है, जैसे लंबी reasoning, सटीक गणित, कोड या कम आम भाषा। अगर कोई INT4 बिल्ड आपके अपने टेस्ट सेट पर 16-bit वर्ज़न से ख़राब करे, तो अपने टेस्ट पर भरोसा करें।

[Mixture-of-experts](https://broadrouter.com/hi/glossary/mixture-of-experts/) मॉडल अक्सर INT4 के उम्मीदवार होते हैं, क्योंकि सभी experts को मेमोरी में समाना होता है, भले ही हर टोकन पर कुछ ही चलें।

## BroadNet Inference पर

BroadNet का [मॉडल कैटलॉग](https://www.broadnet.ai/inference/models) कहता है कि उसका प्रोडक्शन Gemma 4 26B A4B बिल्ड (API ID `broadnet/gemma-4-26b-a4b`) AWQ 4-bit weights इस्तेमाल करता है, साथ में multi-token prediction और FP8 KV cache। यह BroadNet का अपना विवरण है; API डॉक्स बाक़ी मॉडल का प्रिसिज़न नहीं बताते। अगर आप 4-bit मॉडल ख़ुद होस्ट करने और API कॉल करने के बीच चुन रहे हैं, तो [सेल्फ़-होस्टिंग लागत तुलना](https://broadrouter.com/hi/blog/self-hosting-llm-vs-api-cost/) और [LLM API लागत कैलकुलेटर](https://broadrouter.com/tools/llm-api-cost-calculator/) कुल ख़र्च की तुलना में मदद करते हैं।

## अक्सर पूछे जाने वाले सवाल

### INT4 से कितनी मेमोरी बचती है?

हर weight दो बाइट के बजाय आधा बाइट लेता है, यानी 16-bit साइज़ का लगभग एक चौथाई, साथ में scale factors का थोड़ा अतिरिक्त ख़र्च। 25.2B पैरामीटर वाले मॉडल के weights लगभग 50.4 GB से घटकर लगभग 12.6 GB रह जाते हैं।

### क्या INT4, NF4 या FP4 जैसा ही है?

नहीं। तीनों 4 bit इस्तेमाल करते हैं, लेकिन NF4 और FP4 अपने 16 स्तर असमान रूप से रखते हैं, जबकि INT4 उन्हें बराबर दूरी पर रखता है। Hugging Face का bitsandbytes इंटीग्रेशन FP4 और NF4 देता है; GPTQ और AWQ चेकपॉइंट आम तौर पर INT4 इस्तेमाल करते हैं।

### क्या INT4 से मॉडल तेज़ हो जाता है?

कम लोड पर अक्सर, क्योंकि जनरेशन मेमोरी से weights पढ़ने की रफ़्तार से सीमित होता है और 4-bit weights छोटे होते हैं। vLLM के डॉक्स कहते हैं कि INT4 W4A16 सबसे ज़्यादा कम queries per second वाले वर्कलोड में मदद करता है; भारी लोड पर फ़ायदा घट जाता है।

## यह भी देखें

-   [क्वांटाइज़ेशन (quantization)](https://broadrouter.com/hi/glossary/quantization/) (शब्द)
-   [FP8 (8-बिट फ़्लोटिंग पॉइंट)](https://broadrouter.com/hi/glossary/fp8/) (शब्द)
-   [Mixture of experts (MoE)](https://broadrouter.com/hi/glossary/mixture-of-experts/) (शब्द)
-   [लेटेंसी (latency)](https://broadrouter.com/hi/glossary/latency/) (शब्द)
-   [AWQ (activation-aware weight quantization)](https://broadrouter.com/hi/glossary/awq/) (शब्द)
-   [BroadNet Inference के साथ OpenAI Python SDK इस्तेमाल करें](https://broadrouter.com/hi/guides/openai-python-sdk/) (गाइड)
-   [LLM सेल्फ़-होस्ट करें या API लें: असली लागत और ब्रेक-ईवन](https://broadrouter.com/hi/blog/self-hosting-llm-vs-api-cost/) (लेख)
-   [बिज़नेस के लिए open-weight बनाम closed AI मॉडल: लागत, नियंत्रण, जोखिम](https://broadrouter.com/hi/blog/open-weight-vs-closed-models/) (लेख)

इसे अपने असली वर्कलोड पर आज़माएँ। नए अकाउंट Gemma और ट्रांसक्रिप्शन के लिए US$5 के क्रेडिट से शुरू होते हैं। DeepSeek, GLM, और Qwen3.8 के लिए टॉप-अप ज़रूरी है।

[शुरू करें](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-glossary-int4&utm_content=page-cta) ·

**स्रोत**

-   [BroadNet मॉडल कैटलॉग (Gemma 4 26B A4B, AWQ 4-bit) (अंग्रेज़ी में)](https://www.broadnet.ai/inference/models)
-   [NVIDIA TensorRT-LLM, न्यूमेरिकल प्रिसिज़न (INT4 और INT8 weight-only)](https://nvidia.github.io/TensorRT-LLM/reference/precision.html)
-   [Lin और साथी, AWQ, Activation-aware Weight Quantization, arXiv 2306.00978](https://arxiv.org/abs/2306.00978)
-   [Frantar और साथी, GPTQ, arXiv 2210.17323](https://arxiv.org/abs/2210.17323)
-   [vLLM डॉक्स, INT4 W4A16 क्वांटाइज़ेशन](https://docs.vllm.ai/en/latest/features/quantization/llm_compressor/int4/)
-   [Hugging Face Transformers डॉक्स, bitsandbytes (NF4 और FP4 4-bit टाइप) (जाँच: 2026-11-16)](https://huggingface.co/docs/transformers/main/en/quantization/bitsandbytes)
