BroadRouter
शुरू करें

INT4 (4-bit क्वांटाइज़ेशन)

अपडेट किया गया

INT4 एक 4-bit integer नंबर फ़ॉर्मैट है जो 16 स्तर दर्शा सकता है। LLM इन्फ़रेंस में इसका मतलब आम तौर पर 4-bit weight-only क्वांटाइज़ेशन (W4A16) होता है: weights scale factors के साथ INT4 में रखे जाते हैं और गणना के दौरान 16-bit में फैलाए जाते हैं, जिससे 16-bit weights की लगभग एक चौथाई मेमोरी लगती है।

अन्य नाम: 4-bit क्वांटाइज़ेशन, INT4 क्वांटाइज़ेशन, int4 kya hai, 4 bit quantization kya hai, INT4, 4-bit quantization, W4A16, 4-bit integer, INT4 weight-only, 4-bit LLM

INT4 वह जगह है जहाँ क्वांटाइज़ेशन आक्रामक हो जाता है: हर weight को सिर्फ़ 16 संभावित वैल्यू मिलती हैं।

यह कैसे काम करता है

TensorRT-LLM की प्रिसिज़न गाइड आम रूप, W4A16, को बताती है: weights 4 bit में क्वांटाइज़ होते हैं और matrix multiply के अंदर “on-the-fly” (चलते-चलते) dequantize होते हैं, जबकि activations FP16 या BF16 में रहते हैं। TensorRT-LLM per-group scaling factors सपोर्ट करता है: weights के हर छोटे समूह को अपना scale मिलता है, ताकि 16 स्तर सही रेंज कवर करें। vLLM का INT4 उदाहरण W4A16-G128 चेकपॉइंट सहेजता है, यानी हर 128 weights पर एक समूह।

सीधे 16 स्तरों पर राउंड करने में बहुत नुक़सान होता है, इसलिए लोकप्रिय तरीक़े इसे ज़्यादा समझदारी से करते हैं:

  • GPTQ अनुमानित second-order जानकारी से ऐसी राउंडिंग चुनता है जो आउटपुट एरर को सीमित रखे। पेपर प्रति weight 3 या 4 bit पर नगण्य नुक़सान बताता है, जो 175B मॉडल को एक GPU पर चलाने के लिए काफ़ी है।
  • AWQ यह देखता है कि “not all weights in an LLM are equally important.” (अनुवाद: LLM के सभी weights बराबर अहम नहीं होते।) activation के आँकड़ों से पहचाने गए लगभग 1% अहम चैनल बचाने से एरर काफ़ी घटता है। इसका TinyChat रनटाइम डिवाइस पर 4-bit मॉडल के लिए 3 गुना से ज़्यादा स्पीडअप बताता है।

यह क्यों मायने रखता है

मेमोरी की बचत बड़ी है। प्रति weight 0.5 बाइट पर, मॉडल के weights अपने 16-bit साइज़ का एक चौथाई लेते हैं। 25.2B पैरामीटर वाले मॉडल के लिए: BF16 में 25.2B × 2 बाइट = 50.4 GB, जबकि INT4 में 25.2B × 0.5 बाइट = 12.6 GB, साथ में scale factors के लिए थोड़ा और। जनरेशन की रफ़्तार अक्सर इस बात से सीमित होती है कि weights मेमोरी से कितनी तेज़ी से आते हैं, इसलिए 4-bit weights latency भी घटा सकते हैं। vLLM के डॉक्स कहते हैं कि INT4 W4A16 latency कम रखने के लिए “in workloads with low queries per second” (अनुवाद: कम queries per second वाले वर्कलोड में) सबसे उपयोगी है। ज़्यादा लोड पर weights को dequantize करने की लागत ज़्यादा मायने रखती है और फ़ायदा घट जाता है।

सिर्फ़ 16 स्तरों के साथ राउंडिंग एरर FP8 से बड़ा होता है, और इसी वजह से GPTQ और AWQ बने ही हैं। औसत बेंचमार्क स्कोर उन टास्क पर नुक़सान छिपा सकता है जिनकी आपको परवाह है, जैसे लंबी reasoning, सटीक गणित, कोड या कम आम भाषा। अगर कोई INT4 बिल्ड आपके अपने टेस्ट सेट पर 16-bit वर्ज़न से ख़राब करे, तो अपने टेस्ट पर भरोसा करें।

Mixture-of-experts मॉडल अक्सर INT4 के उम्मीदवार होते हैं, क्योंकि सभी experts को मेमोरी में समाना होता है, भले ही हर टोकन पर कुछ ही चलें।

BroadNet Inference पर

BroadNet का मॉडल कैटलॉग कहता है कि उसका प्रोडक्शन Gemma 4 26B A4B बिल्ड (API ID broadnet/gemma-4-26b-a4b) AWQ 4-bit weights इस्तेमाल करता है, साथ में multi-token prediction और FP8 KV cache। यह BroadNet का अपना विवरण है; API डॉक्स बाक़ी मॉडल का प्रिसिज़न नहीं बताते। अगर आप 4-bit मॉडल ख़ुद होस्ट करने और API कॉल करने के बीच चुन रहे हैं, तो सेल्फ़-होस्टिंग लागत तुलना और LLM API लागत कैलकुलेटर कुल ख़र्च की तुलना में मदद करते हैं।

अक्सर पूछे जाने वाले सवाल

INT4 से कितनी मेमोरी बचती है?

हर weight दो बाइट के बजाय आधा बाइट लेता है, यानी 16-bit साइज़ का लगभग एक चौथाई, साथ में scale factors का थोड़ा अतिरिक्त ख़र्च। 25.2B पैरामीटर वाले मॉडल के weights लगभग 50.4 GB से घटकर लगभग 12.6 GB रह जाते हैं।

क्या INT4, NF4 या FP4 जैसा ही है?

नहीं। तीनों 4 bit इस्तेमाल करते हैं, लेकिन NF4 और FP4 अपने 16 स्तर असमान रूप से रखते हैं, जबकि INT4 उन्हें बराबर दूरी पर रखता है। Hugging Face का bitsandbytes इंटीग्रेशन FP4 और NF4 देता है; GPTQ और AWQ चेकपॉइंट आम तौर पर INT4 इस्तेमाल करते हैं।

क्या INT4 से मॉडल तेज़ हो जाता है?

कम लोड पर अक्सर, क्योंकि जनरेशन मेमोरी से weights पढ़ने की रफ़्तार से सीमित होता है और 4-bit weights छोटे होते हैं। vLLM के डॉक्स कहते हैं कि INT4 W4A16 सबसे ज़्यादा कम queries per second वाले वर्कलोड में मदद करता है; भारी लोड पर फ़ायदा घट जाता है।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें