INT4 वह जगह है जहाँ क्वांटाइज़ेशन आक्रामक हो जाता है: हर weight को सिर्फ़ 16 संभावित वैल्यू मिलती हैं।
यह कैसे काम करता है
TensorRT-LLM की प्रिसिज़न गाइड आम रूप, W4A16, को बताती है: weights 4 bit में क्वांटाइज़ होते हैं और matrix multiply के अंदर “on-the-fly” (चलते-चलते) dequantize होते हैं, जबकि activations FP16 या BF16 में रहते हैं। TensorRT-LLM per-group scaling factors सपोर्ट करता है: weights के हर छोटे समूह को अपना scale मिलता है, ताकि 16 स्तर सही रेंज कवर करें। vLLM का INT4 उदाहरण W4A16-G128 चेकपॉइंट सहेजता है, यानी हर 128 weights पर एक समूह।
सीधे 16 स्तरों पर राउंड करने में बहुत नुक़सान होता है, इसलिए लोकप्रिय तरीक़े इसे ज़्यादा समझदारी से करते हैं:
- GPTQ अनुमानित second-order जानकारी से ऐसी राउंडिंग चुनता है जो आउटपुट एरर को सीमित रखे। पेपर प्रति weight 3 या 4 bit पर नगण्य नुक़सान बताता है, जो 175B मॉडल को एक GPU पर चलाने के लिए काफ़ी है।
- AWQ यह देखता है कि “not all weights in an LLM are equally important.” (अनुवाद: LLM के सभी weights बराबर अहम नहीं होते।) activation के आँकड़ों से पहचाने गए लगभग 1% अहम चैनल बचाने से एरर काफ़ी घटता है। इसका TinyChat रनटाइम डिवाइस पर 4-bit मॉडल के लिए 3 गुना से ज़्यादा स्पीडअप बताता है।
यह क्यों मायने रखता है
मेमोरी की बचत बड़ी है। प्रति weight 0.5 बाइट पर, मॉडल के weights अपने 16-bit साइज़ का एक चौथाई लेते हैं। 25.2B पैरामीटर वाले मॉडल के लिए: BF16 में 25.2B × 2 बाइट = 50.4 GB, जबकि INT4 में 25.2B × 0.5 बाइट = 12.6 GB, साथ में scale factors के लिए थोड़ा और। जनरेशन की रफ़्तार अक्सर इस बात से सीमित होती है कि weights मेमोरी से कितनी तेज़ी से आते हैं, इसलिए 4-bit weights latency भी घटा सकते हैं। vLLM के डॉक्स कहते हैं कि INT4 W4A16 latency कम रखने के लिए “in workloads with low queries per second” (अनुवाद: कम queries per second वाले वर्कलोड में) सबसे उपयोगी है। ज़्यादा लोड पर weights को dequantize करने की लागत ज़्यादा मायने रखती है और फ़ायदा घट जाता है।
सिर्फ़ 16 स्तरों के साथ राउंडिंग एरर FP8 से बड़ा होता है, और इसी वजह से GPTQ और AWQ बने ही हैं। औसत बेंचमार्क स्कोर उन टास्क पर नुक़सान छिपा सकता है जिनकी आपको परवाह है, जैसे लंबी reasoning, सटीक गणित, कोड या कम आम भाषा। अगर कोई INT4 बिल्ड आपके अपने टेस्ट सेट पर 16-bit वर्ज़न से ख़राब करे, तो अपने टेस्ट पर भरोसा करें।
Mixture-of-experts मॉडल अक्सर INT4 के उम्मीदवार होते हैं, क्योंकि सभी experts को मेमोरी में समाना होता है, भले ही हर टोकन पर कुछ ही चलें।
BroadNet Inference पर
BroadNet का मॉडल कैटलॉग कहता है कि उसका प्रोडक्शन Gemma 4 26B A4B बिल्ड (API ID broadnet/gemma-4-26b-a4b) AWQ 4-bit weights इस्तेमाल करता है, साथ में multi-token prediction और FP8 KV cache। यह BroadNet का अपना विवरण है; API डॉक्स बाक़ी मॉडल का प्रिसिज़न नहीं बताते। अगर आप 4-bit मॉडल ख़ुद होस्ट करने और API कॉल करने के बीच चुन रहे हैं, तो सेल्फ़-होस्टिंग लागत तुलना और LLM API लागत कैलकुलेटर कुल ख़र्च की तुलना में मदद करते हैं।