4-bit मॉडल अपने 16-bit मूल का लगभग चौथाई आकार होता है। AWQ वहाँ तक पहुँचने के सबसे ज़्यादा इस्तेमाल होने वाले तरीक़ों में से एक है, बिना ज़्यादा क्वालिटी खोए।
यह कैसे काम करता है
सादा क्वांटाइज़ेशन हर weight को कुछ गिने-चुने मानों पर राउंड करता है। कुछ weights दूसरों से ज़्यादा अहम हैं, और उन्हें राउंड करने से सबसे ज़्यादा नुक़सान होता है। AWQ पेपर की मुख्य खोज है कि “Protecting only 1% salient weights can greatly reduce quantization error” (अनुवाद: सिर्फ़ 1% अहम weights को बचाने से क्वांटाइज़ेशन एरर काफ़ी कम हो सकता है), और उन weights को खोजने के लिए “we should refer to the activation distribution, not weights.” (अनुवाद: हमें weights नहीं, activation distribution देखना चाहिए।)
मोटे तौर पर चरण:
- full-precision मॉडल से एक छोटा calibration सेट चलाएँ और हर चैनल के activation का आकार दर्ज करें।
- अहम weight चैनलों को उस चीज़ से scale up करें जिसे पेपर “an equivalent transformation” (अनुवाद: एक समतुल्य रूपांतरण) कहता है, ताकि राउंडिंग उन पर कम असर डाले और लेयर का आउटपुट वही रहे। इससे “hardware-inefficient mix-precision quantization” (अनुवाद: हार्डवेयर के लिए अकुशल मिश्रित-प्रिसिज़न क्वांटाइज़ेशन) से बचा जाता है।
- सभी weights को कम प्रिसिज़न पर राउंड करें, आम तौर पर 4-bit integers, जिसमें weights के हर ग्रुप का एक scale होता है।
पेपर ज़ोर देता है कि “AWQ does not rely on any backpropagation or reconstruction” (अनुवाद: AWQ किसी backpropagation या reconstruction पर निर्भर नहीं), इसलिए यह calibration सेट पर overfit हुए बिना “generalizes to different domains and modalities” (अनुवाद: अलग-अलग डोमेन और modalities पर लागू होता है)। इसे MLSys 2024 Best Paper Award मिला।
vLLM में पहले से क्वांटाइज़ किया गया AWQ checkpoint एक आर्ग्युमेंट से लोड होता है:
from vllm import LLM
llm = LLM(model="TheBloke/Llama-2-7b-Chat-AWQ", quantization="auto_awq")
vLLM का पेज इस फ़ॉर्मैट को weights को “from BF16/FP16 to INT4” (अनुवाद: BF16/FP16 से INT4 तक) घटाने वाला बताता है और चेतावनी देता है कि “The AutoAWQ library is deprecated” (अनुवाद: AutoAWQ लाइब्रेरी deprecated है); नए AWQ मॉडल vLLM के llm-compressor से बनते हैं।
यह क्यों मायने रखता है
- मेमोरी और लागत। छोटे weights कम या सस्ते GPU पर समा जाते हैं और KV cache के लिए ज़्यादा मेमोरी छोड़ते हैं, यानी एक साथ ज़्यादा अनुरोध।
- रफ़्तार। decode हर टोकन के लिए हर weight पढ़ता है, इसलिए छोटे weights का मतलब तेज़ आउटपुट हो सकता है। पेपर बताता है कि उसका TinyChat runtime “more than 3x speedup over the Huggingface FP16 implementation” (अनुवाद: Huggingface FP16 implementation से 3 गुना से ज़्यादा तेज़ी) देता है।
- वही weights, अलग नतीजे। “एक ही मॉडल” चलाने वाले दो होस्ट अलग क्वांटाइज़ेशन इस्तेमाल कर सकते हैं। क्वालिटी की तुलना करते समय प्रोवाइडर से पूछें कि वह कौन-सा फ़ॉर्मैट सर्व करता है।
AWQ सिर्फ़ weights पर काम करता है। यह FP8 से अलग है, जो activations को भी क्वांटाइज़ कर सकता है, और GGUF से भी, जो llama.cpp के लिए अपने quant types वाला एक फ़ाइल फ़ॉर्मैट है।
BroadNet Inference पर
BroadNet बताता है कि वह Gemma 4 VL 26B को ख़ुद क्वांटाइज़ किए 4-bit AWQ weights के साथ सर्व करता है, साथ में multi-token-prediction speculative decoding (k=2) और fp8 KV cache। उसके मॉडल पेज के मुताबिक़, उसने NVFP4 टेस्ट किया और सीधी तुलना के बाद उसे हटा दिया। BroadNet यह भी बताता है कि किसी hosted प्रोवाइडर पर सर्व किए गए वही Gemma 4 weights उसकी अपनी सर्विंग से औसतन 0.13 कम स्कोर करते थे (BroadNet यह नहीं बताता कि किस मेट्रिक या पैमाने पर); विवरण GPU फ़्लीट और सर्विंग पोस्ट में है। BroadNet अपने दूसरे API मॉडल का क्वांटाइज़ेशन फ़ॉर्मैट प्रकाशित नहीं करता। अगर आप ख़ुद AWQ weights चलाना चाहते हैं, तो सेल्फ़-होस्टिंग बनाम API लागत गाइड हिसाब समझाती है।