BroadRouter
शुरू करें

क्वांटाइज़ेशन (quantization)

अपडेट किया गया

क्वांटाइज़ेशन, न्यूरल नेटवर्क की संख्याओं, मुख्य रूप से उसके weights, को 16-bit के बजाय 8-bit या 4-bit जैसे कम प्रिसिज़न वाले फ़ॉर्मैट में रखने की प्रक्रिया है, ताकि मॉडल कम मेमोरी ले और अक्सर तेज़ चले। अच्छे तरीक़े सटीकता में होने वाले नुक़सान को कम रखते हैं।

अन्य नाम: क्वांटाइज़ेशन, मॉडल क्वांटाइज़ेशन, क्वांटाइज़्ड मॉडल, quantization kya hai, model quantization kya hota hai, quantization, model quantization, LLM quantization, quantized model, weight quantization

ज़्यादातर ओपन मॉडल 16-bit weights के साथ आते हैं। क्वांटाइज़ेशन इन संख्याओं को छोटा करता है, ताकि मॉडल कम GPU पर समा जाए।

यह कैसे काम करता है

Hugging Face क्वांटाइज़ेशन को “representing weights and activations with lower-precision data types like 8-bit integers (int8)” (अनुवाद: weights और activations को 8-bit integers (int8) जैसे कम प्रिसिज़न वाले डेटा टाइप में दर्शाना) बताता है। weights के हर ब्लॉक को एक scale factor मिलता है। weights को कुछ गिने-चुने स्तरों पर राउंड किया जाता है और चलते समय scale से वापस गुणा किया जाता है।

weights की मेमोरी प्रति पैरामीटर बिट के अनुपात में बदलती है। Google का Gemma 4 26B A4B लें, जिसमें 25.2B पैरामीटर हैं:

प्रिसिज़न प्रति weight बाइट सिर्फ़ weights
16-bit (BF16) 2 25.2B × 2 = 50.4 GB
8-bit (FP8 या INT8) 1 25.2 GB
4-bit (INT4) 0.5 12.6 GB

KV cache और activations को इसके ऊपर से जगह चाहिए।

तरीक़े इस बात में अलग हैं कि वे क्या क्वांटाइज़ करते हैं और स्तर कैसे चुनते हैं:

  • LLM.int8() इन्फ़रेंस की मेमोरी आधी करता है और कुछ outlier फ़ीचर 16-bit में रखता है; पेपर कहता है कि 99.9% से ज़्यादा वैल्यू फिर भी 8-bit गणित इस्तेमाल करती हैं।
  • GPTQ एक बार में चलने वाला weight तरीक़ा है जो “negligible accuracy degradation” (अनुवाद: सटीकता में नगण्य गिरावट) के साथ प्रति weight 3 या 4 bit तक पहुँचता है, और 175B मॉडल को लगभग चार GPU घंटों में क्वांटाइज़ करता है।
  • सिर्फ़ weight बनाम weight और activation. सिर्फ़ weight वाले फ़ॉर्मैट मेमोरी बचाते हैं। activations को भी क्वांटाइज़ करने से, सपोर्ट करने वाले हार्डवेयर पर, मैट्रिक्स गणित भी तेज़ हो सकता है।

यह क्यों मायने रखता है

API कॉल करने वाले के लिए क्वांटाइज़ेशन अनुरोध में नहीं दिखता, लेकिन तीन जगह सामने आता है। कीमत: छोटे मॉडल को कम GPU चाहिए, जिससे सर्विंग की लागत घटती है। रफ़्तार: जनरेशन अक्सर मेमोरी बैंडविड्थ से सीमित होता है, इसलिए प्रति weight कम बाइट का मतलब ज़्यादा टोकन प्रति सेकंड हो सकता है। क्वालिटी: कम बिट का मतलब ज़्यादा राउंडिंग एरर है, और मॉडल अपना औसत स्कोर बनाए रखते हुए भी उन ख़ास टास्क पर फिसल सकता है जिन पर आप निर्भर हैं।

अगर “एक ही” ओपन मॉडल चलाने वाले दो प्रोवाइडर की तुलना में आपको अलग नतीजे मिलते हैं, तो प्रिसिज़न एक संभावित कारण है।

BroadNet Inference पर

BroadNet का API रेफ़रंस सर्विंग प्रिसिज़न नहीं बताता। उसका मॉडल कैटलॉग प्रोडक्शन वाले Gemma 4 26B A4B बिल्ड को, जो BroadNet Gemma 4 VL 26B के नाम से मिलता है, AWQ 4-bit weights और FP8 KV cache के साथ सूचीबद्ध करता है। बाक़ी मॉडल का API प्रिसिज़न वह नहीं बताता। अगर आपके काम के लिए प्रिसिज़न मायने रखता है, तो हर प्रोवाइडर पर एक ही मूल्यांकन सेट चलाएँ; मॉडल बदलने से पहले उसके मूल्यांकन की चेकलिस्ट बताती है कि कैसे।

अक्सर पूछे जाने वाले सवाल

क्या क्वांटाइज़ेशन से मॉडल ख़राब हो जाता है?

कभी-कभी थोड़ा। LLM.int8() बताता है कि 175B पैरामीटर तक 8-bit इन्फ़रेंस में कोई गिरावट नहीं होती, और GPTQ बताता है कि प्रति weight 3 या 4 bit पर नुक़सान नगण्य है। कम बिट और कठिन टास्क से जोखिम बढ़ता है, इसलिए अपने प्रॉम्प्ट पर टेस्ट करें।

क्या मैं जान सकता हूँ कि कोई API क्वांटाइज़्ड मॉडल चला रहा है?

आम तौर पर तभी, जब प्रोवाइडर ख़ुद बताए। API दोनों हालात में जवाब का एक ही ढाँचा लौटाता है, इसलिए अपने टेस्ट पर आउटपुट की तुलना करें और प्रोवाइडर से पूछें कि वह कौन-सा प्रिसिज़न इस्तेमाल करता है।

क्वांटाइज़ेशन से कितनी मेमोरी बचती है?

weights की मेमोरी प्रति weight बिट के अनुपात में बदलती है। 25.2B पैरामीटर वाले मॉडल को 16-bit पर लगभग 50.4 GB, 8-bit पर 25.2 GB और 4-bit पर 12.6 GB चाहिए, KV cache और activations से पहले।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें