---
title: "LLM में क्वांटाइज़ेशन क्या है? हर weight के लिए कम बिट"
description: "क्वांटाइज़ेशन LLM के weights, और कभी-कभी activations, को कम बिट में रखता है, ताकि GPU मेमोरी बचे और इन्फ़रेंस तेज़ हो। फ़ॉर्मैट, मेमोरी का हिसाब और क्वालिटी पर असर।"
url: https://broadrouter.com/hi/glossary/quantization/
lang: hi
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

यह पेज अंग्रेज़ी से AI की मदद से अनुवाद किया गया है। [अंग्रेज़ी मूल पढ़ें](https://broadrouter.com/glossary/quantization/) (2026-11-14 को अपडेट किया गया).

# क्वांटाइज़ेशन (quantization)

अपडेट किया गया 2026-11-14

क्वांटाइज़ेशन, न्यूरल नेटवर्क की संख्याओं, मुख्य रूप से उसके weights, को 16-bit के बजाय 8-bit या 4-bit जैसे कम प्रिसिज़न वाले फ़ॉर्मैट में रखने की प्रक्रिया है, ताकि मॉडल कम मेमोरी ले और अक्सर तेज़ चले। अच्छे तरीक़े सटीकता में होने वाले नुक़सान को कम रखते हैं।

अन्य नाम: क्वांटाइज़ेशन, मॉडल क्वांटाइज़ेशन, क्वांटाइज़्ड मॉडल, quantization kya hai, model quantization kya hota hai, quantization, model quantization, LLM quantization, quantized model, weight quantization

ज़्यादातर ओपन मॉडल 16-bit weights के साथ आते हैं। क्वांटाइज़ेशन इन संख्याओं को छोटा करता है, ताकि मॉडल कम GPU पर समा जाए।

## यह कैसे काम करता है

Hugging Face क्वांटाइज़ेशन को “representing weights and activations with lower-precision data types like 8-bit integers (int8)” (अनुवाद: weights और activations को 8-bit integers (int8) जैसे कम प्रिसिज़न वाले डेटा टाइप में दर्शाना) बताता है। weights के हर ब्लॉक को एक scale factor मिलता है। weights को कुछ गिने-चुने स्तरों पर राउंड किया जाता है और चलते समय scale से वापस गुणा किया जाता है।

weights की मेमोरी प्रति पैरामीटर बिट के अनुपात में बदलती है। Google का Gemma 4 26B A4B लें, जिसमें 25.2B पैरामीटर हैं:

| प्रिसिज़न | प्रति weight बाइट | सिर्फ़ weights |
| --- | --- | --- |
| 16-bit (BF16) | 2 | 25.2B × 2 = 50.4 GB |
| 8-bit ([FP8](https://broadrouter.com/hi/glossary/fp8/) या INT8) | 1 | 25.2 GB |
| 4-bit ([INT4](https://broadrouter.com/hi/glossary/int4/)) | 0.5 | 12.6 GB |

[KV cache](https://broadrouter.com/hi/glossary/kv-cache/) और activations को इसके ऊपर से जगह चाहिए।

तरीक़े इस बात में अलग हैं कि वे क्या क्वांटाइज़ करते हैं और स्तर कैसे चुनते हैं:

-   **LLM.int8()** इन्फ़रेंस की मेमोरी आधी करता है और कुछ outlier फ़ीचर 16-bit में रखता है; पेपर कहता है कि 99.9% से ज़्यादा वैल्यू फिर भी 8-bit गणित इस्तेमाल करती हैं।
-   **GPTQ** एक बार में चलने वाला weight तरीक़ा है जो “negligible accuracy degradation” (अनुवाद: सटीकता में नगण्य गिरावट) के साथ प्रति weight 3 या 4 bit तक पहुँचता है, और 175B मॉडल को लगभग चार GPU घंटों में क्वांटाइज़ करता है।
-   **सिर्फ़ weight बनाम weight और activation.** सिर्फ़ weight वाले फ़ॉर्मैट मेमोरी बचाते हैं। activations को भी क्वांटाइज़ करने से, सपोर्ट करने वाले हार्डवेयर पर, मैट्रिक्स गणित भी तेज़ हो सकता है।

## यह क्यों मायने रखता है

API कॉल करने वाले के लिए क्वांटाइज़ेशन अनुरोध में नहीं दिखता, लेकिन तीन जगह सामने आता है। कीमत: छोटे मॉडल को कम GPU चाहिए, जिससे सर्विंग की लागत घटती है। रफ़्तार: जनरेशन अक्सर मेमोरी बैंडविड्थ से सीमित होता है, इसलिए प्रति weight कम बाइट का मतलब ज़्यादा [टोकन प्रति सेकंड](https://broadrouter.com/hi/glossary/tokens-per-second/) हो सकता है। क्वालिटी: कम बिट का मतलब ज़्यादा राउंडिंग एरर है, और मॉडल अपना औसत स्कोर बनाए रखते हुए भी उन ख़ास टास्क पर फिसल सकता है जिन पर आप निर्भर हैं।

अगर “एक ही” ओपन मॉडल चलाने वाले दो प्रोवाइडर की तुलना में आपको अलग नतीजे मिलते हैं, तो प्रिसिज़न एक संभावित कारण है।

## BroadNet Inference पर

BroadNet का API रेफ़रंस सर्विंग प्रिसिज़न नहीं बताता। उसका मॉडल कैटलॉग प्रोडक्शन वाले Gemma 4 26B A4B बिल्ड को, जो [BroadNet Gemma 4 VL 26B](https://broadrouter.com/hi/models/gemma-4-vl-26b/) के नाम से मिलता है, AWQ 4-bit weights और FP8 KV cache के साथ सूचीबद्ध करता है। बाक़ी मॉडल का API प्रिसिज़न वह नहीं बताता। अगर आपके काम के लिए प्रिसिज़न मायने रखता है, तो हर प्रोवाइडर पर एक ही मूल्यांकन सेट चलाएँ; [मॉडल बदलने से पहले उसके मूल्यांकन की चेकलिस्ट](https://broadrouter.com/hi/blog/evaluate-llm-before-switching/) बताती है कि कैसे।

## अक्सर पूछे जाने वाले सवाल

### क्या क्वांटाइज़ेशन से मॉडल ख़राब हो जाता है?

कभी-कभी थोड़ा। LLM.int8() बताता है कि 175B पैरामीटर तक 8-bit इन्फ़रेंस में कोई गिरावट नहीं होती, और GPTQ बताता है कि प्रति weight 3 या 4 bit पर नुक़सान नगण्य है। कम बिट और कठिन टास्क से जोखिम बढ़ता है, इसलिए अपने प्रॉम्प्ट पर टेस्ट करें।

### क्या मैं जान सकता हूँ कि कोई API क्वांटाइज़्ड मॉडल चला रहा है?

आम तौर पर तभी, जब प्रोवाइडर ख़ुद बताए। API दोनों हालात में जवाब का एक ही ढाँचा लौटाता है, इसलिए अपने टेस्ट पर आउटपुट की तुलना करें और प्रोवाइडर से पूछें कि वह कौन-सा प्रिसिज़न इस्तेमाल करता है।

### क्वांटाइज़ेशन से कितनी मेमोरी बचती है?

weights की मेमोरी प्रति weight बिट के अनुपात में बदलती है। 25.2B पैरामीटर वाले मॉडल को 16-bit पर लगभग 50.4 GB, 8-bit पर 25.2 GB और 4-bit पर 12.6 GB चाहिए, KV cache और activations से पहले।

## यह भी देखें

-   [FP8 (8-बिट फ़्लोटिंग पॉइंट)](https://broadrouter.com/hi/glossary/fp8/) (शब्द)
-   [INT4 (4-bit क्वांटाइज़ेशन)](https://broadrouter.com/hi/glossary/int4/) (शब्द)
-   [KV cache (की-वैल्यू कैश)](https://broadrouter.com/hi/glossary/kv-cache/) (शब्द)
-   [Mixture of experts (MoE)](https://broadrouter.com/hi/glossary/mixture-of-experts/) (शब्द)
-   [ओपन-वेट मॉडल (open-weight model)](https://broadrouter.com/hi/glossary/open-weight-model/) (शब्द)
-   [AWQ (activation-aware weight quantization)](https://broadrouter.com/hi/glossary/awq/) (शब्द)
-   [GGUF](https://broadrouter.com/hi/glossary/gguf/) (शब्द)
-   [BroadNet Inference के साथ OpenAI Python SDK इस्तेमाल करें](https://broadrouter.com/hi/guides/openai-python-sdk/) (गाइड)
-   [बिज़नेस के लिए open-weight बनाम closed AI मॉडल: लागत, नियंत्रण, जोखिम](https://broadrouter.com/hi/blog/open-weight-vs-closed-models/) (लेख)
-   [LLM सेल्फ़-होस्ट करें या API लें: असली लागत और ब्रेक-ईवन](https://broadrouter.com/hi/blog/self-hosting-llm-vs-api-cost/) (लेख)

इसे अपने असली वर्कलोड पर आज़माएँ। नए अकाउंट Gemma और ट्रांसक्रिप्शन के लिए US$5 के क्रेडिट से शुरू होते हैं। DeepSeek, GLM, और Qwen3.8 के लिए टॉप-अप ज़रूरी है।

[शुरू करें](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-glossary-quantization&utm_content=page-cta) ·

**स्रोत**

-   [Hugging Face Transformers, क्वांटाइज़ेशन रेफ़रंस](https://huggingface.co/docs/transformers/en/main_classes/quantization)
-   [Dettmers और साथी, LLM.int8() 8-bit Matrix Multiplication for Transformers at Scale, arXiv 2208.07339](https://arxiv.org/abs/2208.07339)
-   [Frantar और साथी, GPTQ, Accurate Post-Training Quantization for Generative Pre-trained Transformers, arXiv 2210.17323](https://arxiv.org/abs/2210.17323)
-   [Google, Gemma 4 26B A4B मॉडल कार्ड (पैरामीटर की संख्या)](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [BroadNet मॉडल कैटलॉग (लैब माप, सितंबर 2026) (अंग्रेज़ी में)](https://www.broadnet.ai/inference/models)
