ज़्यादातर ओपन मॉडल 16-bit weights के साथ आते हैं। क्वांटाइज़ेशन इन संख्याओं को छोटा करता है, ताकि मॉडल कम GPU पर समा जाए।
यह कैसे काम करता है
Hugging Face क्वांटाइज़ेशन को “representing weights and activations with lower-precision data types like 8-bit integers (int8)” (अनुवाद: weights और activations को 8-bit integers (int8) जैसे कम प्रिसिज़न वाले डेटा टाइप में दर्शाना) बताता है। weights के हर ब्लॉक को एक scale factor मिलता है। weights को कुछ गिने-चुने स्तरों पर राउंड किया जाता है और चलते समय scale से वापस गुणा किया जाता है।
weights की मेमोरी प्रति पैरामीटर बिट के अनुपात में बदलती है। Google का Gemma 4 26B A4B लें, जिसमें 25.2B पैरामीटर हैं:
| प्रिसिज़न | प्रति weight बाइट | सिर्फ़ weights |
|---|---|---|
| 16-bit (BF16) | 2 | 25.2B × 2 = 50.4 GB |
| 8-bit (FP8 या INT8) | 1 | 25.2 GB |
| 4-bit (INT4) | 0.5 | 12.6 GB |
KV cache और activations को इसके ऊपर से जगह चाहिए।
तरीक़े इस बात में अलग हैं कि वे क्या क्वांटाइज़ करते हैं और स्तर कैसे चुनते हैं:
- LLM.int8() इन्फ़रेंस की मेमोरी आधी करता है और कुछ outlier फ़ीचर 16-bit में रखता है; पेपर कहता है कि 99.9% से ज़्यादा वैल्यू फिर भी 8-bit गणित इस्तेमाल करती हैं।
- GPTQ एक बार में चलने वाला weight तरीक़ा है जो “negligible accuracy degradation” (अनुवाद: सटीकता में नगण्य गिरावट) के साथ प्रति weight 3 या 4 bit तक पहुँचता है, और 175B मॉडल को लगभग चार GPU घंटों में क्वांटाइज़ करता है।
- सिर्फ़ weight बनाम weight और activation. सिर्फ़ weight वाले फ़ॉर्मैट मेमोरी बचाते हैं। activations को भी क्वांटाइज़ करने से, सपोर्ट करने वाले हार्डवेयर पर, मैट्रिक्स गणित भी तेज़ हो सकता है।
यह क्यों मायने रखता है
API कॉल करने वाले के लिए क्वांटाइज़ेशन अनुरोध में नहीं दिखता, लेकिन तीन जगह सामने आता है। कीमत: छोटे मॉडल को कम GPU चाहिए, जिससे सर्विंग की लागत घटती है। रफ़्तार: जनरेशन अक्सर मेमोरी बैंडविड्थ से सीमित होता है, इसलिए प्रति weight कम बाइट का मतलब ज़्यादा टोकन प्रति सेकंड हो सकता है। क्वालिटी: कम बिट का मतलब ज़्यादा राउंडिंग एरर है, और मॉडल अपना औसत स्कोर बनाए रखते हुए भी उन ख़ास टास्क पर फिसल सकता है जिन पर आप निर्भर हैं।
अगर “एक ही” ओपन मॉडल चलाने वाले दो प्रोवाइडर की तुलना में आपको अलग नतीजे मिलते हैं, तो प्रिसिज़न एक संभावित कारण है।
BroadNet Inference पर
BroadNet का API रेफ़रंस सर्विंग प्रिसिज़न नहीं बताता। उसका मॉडल कैटलॉग प्रोडक्शन वाले Gemma 4 26B A4B बिल्ड को, जो BroadNet Gemma 4 VL 26B के नाम से मिलता है, AWQ 4-bit weights और FP8 KV cache के साथ सूचीबद्ध करता है। बाक़ी मॉडल का API प्रिसिज़न वह नहीं बताता। अगर आपके काम के लिए प्रिसिज़न मायने रखता है, तो हर प्रोवाइडर पर एक ही मूल्यांकन सेट चलाएँ; मॉडल बदलने से पहले उसके मूल्यांकन की चेकलिस्ट बताती है कि कैसे।