---
title: "LLM میں کوانٹائزیشن کیا ہے؟ ہر weight کے لیے کم بٹس | BroadRouter"
description: "کوانٹائزیشن LLM کے weights، اور کبھی کبھی activations، کو کم بٹس میں رکھتی ہے تاکہ GPU میموری بچے اور انفرنس تیز ہو۔ فارمیٹس، میموری کا حساب اور معیار پر اثر۔"
url: https://broadrouter.com/ur/glossary/quantization/
lang: ur
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

یہ صفحہ انگریزی سے AI کی مدد سے ترجمہ کیا گیا ہے۔ [انگریزی اصل پڑھیں](https://broadrouter.com/glossary/quantization/) (اپ ڈیٹ: 2026-11-14).

# کوانٹائزیشن (quantization)

اپ ڈیٹ 2026-11-14

کوانٹائزیشن، نیورل نیٹ ورک کے اعداد، بنیادی طور پر اس کے weights، کو 16-bit کے بجائے 8-bit یا 4-bit جیسے کم پریسیژن فارمیٹ میں رکھنے کا عمل ہے، تاکہ ماڈل کم میموری لے اور اکثر تیز چلے۔ اچھے طریقے درستی میں ہونے والے نقصان کو کم رکھتے ہیں۔

دوسرے نام: کوانٹائزیشن، ماڈل کوانٹائزیشن، کوانٹائزڈ ماڈل، quantization kya hai، model quantization kya hota hai، quantization، model quantization، LLM quantization، quantized model، weight quantization

زیادہ تر اوپن ماڈلز 16-bit weights کے ساتھ آتے ہیں۔ کوانٹائزیشن ان اعداد کو چھوٹا کرتی ہے تاکہ ماڈل کم GPUs پر سما جائے۔

## یہ کیسے کام کرتی ہے

Hugging Face کوانٹائزیشن کو “representing weights and activations with lower-precision data types like 8-bit integers (int8)” (ترجمہ: weights اور activations کو 8-bit integers (int8) جیسے کم پریسیژن والے ڈیٹا ٹائپس میں ظاہر کرنا) بیان کرتا ہے۔ weights کے ہر بلاک کو ایک scale factor ملتا ہے۔ weights کو چند مخصوص سطحوں پر راؤنڈ کیا جاتا ہے اور چلتے وقت scale سے واپس ضرب دی جاتی ہے۔

weights کی میموری فی پیرامیٹر بٹس کے تناسب سے بدلتی ہے۔ Google کا Gemma 4 26B A4B لیں، جس میں 25.2B پیرامیٹرز ہیں:

| پریسیژن | فی weight بائٹس | صرف weights |
| --- | --- | --- |
| 16-bit (BF16) | 2 | 25.2B × 2 = 50.4 GB |
| 8-bit ([FP8](https://broadrouter.com/ur/glossary/fp8/) یا INT8) | 1 | 25.2 GB |
| 4-bit ([INT4](https://broadrouter.com/ur/glossary/int4/)) | 0.5 | 12.6 GB |

[KV cache](https://broadrouter.com/ur/glossary/kv-cache/) اور activations کو اس کے اوپر سے جگہ چاہیے۔

طریقے اس بات میں مختلف ہیں کہ وہ کیا کوانٹائز کرتے ہیں اور سطحیں کیسے چنتے ہیں:

-   **LLM.int8()** انفرنس کی میموری آدھی کرتا ہے اور چند outlier فیچرز 16-bit میں رکھتا ہے؛ مقالہ کہتا ہے کہ 99.9% سے زیادہ قدریں پھر بھی 8-bit حساب استعمال کرتی ہیں۔
-   **GPTQ** ایک بار میں چلنے والا weight طریقہ ہے جو “negligible accuracy degradation” (ترجمہ: درستی میں نہ ہونے کے برابر کمی) کے ساتھ فی weight 3 یا 4 bit تک پہنچتا ہے، اور 175B ماڈل کو تقریباً چار GPU گھنٹوں میں کوانٹائز کرتا ہے۔
-   **صرف weight بمقابلہ weight اور activation۔** صرف weight والے فارمیٹس میموری بچاتے ہیں۔ activations کو بھی کوانٹائز کرنے سے، سپورٹ کرنے والے ہارڈویئر پر، میٹرکس کا حساب بھی تیز ہو سکتا ہے۔

## یہ کیوں اہم ہے

API کال کرنے والے کے لیے کوانٹائزیشن درخواست میں نظر نہیں آتی، لیکن تین جگہ سامنے آتی ہے۔ قیمت: چھوٹے ماڈلز کو کم GPUs چاہییں، جس سے سرونگ کی لاگت کم ہوتی ہے۔ رفتار: جنریشن اکثر میموری بینڈوڈتھ سے محدود ہوتی ہے، اس لیے فی weight کم بائٹس کا مطلب زیادہ [ٹوکن فی سیکنڈ](https://broadrouter.com/ur/glossary/tokens-per-second/) ہو سکتا ہے۔ معیار: کم بٹس کا مطلب زیادہ راؤنڈنگ ایرر ہے، اور ماڈل اپنا اوسط اسکور برقرار رکھتے ہوئے بھی ان مخصوص ٹاسکس پر پھسل سکتا ہے جن پر آپ انحصار کرتے ہیں۔

اگر “ایک ہی” اوپن ماڈل چلانے والے دو فراہم کنندگان کے موازنے میں آپ کو مختلف نتائج ملتے ہیں تو پریسیژن ایک ممکنہ وجہ ہے۔

## BroadNet Inference پر

BroadNet کا API ریفرنس سرونگ پریسیژن نہیں بتاتا۔ اس کا ماڈل کیٹلاگ پروڈکشن والے Gemma 4 26B A4B بلڈ کو، جو [BroadNet Gemma 4 VL 26B](https://broadrouter.com/ur/models/gemma-4-vl-26b/) کے نام سے دستیاب ہے، AWQ 4-bit weights اور FP8 KV cache کے ساتھ درج کرتا ہے۔ باقی ماڈلز کا API پریسیژن وہ نہیں بتاتا۔ اگر آپ کے کام کے لیے پریسیژن اہم ہے تو ہر فراہم کنندہ پر ایک ہی جانچ سیٹ چلائیں؛ [ماڈل بدلنے سے پہلے اس کی جانچ کی چیک لسٹ](https://broadrouter.com/ur/blog/evaluate-llm-before-switching/) بتاتی ہے کہ کیسے۔

## عام سوالات

### کیا کوانٹائزیشن سے ماڈل خراب ہو جاتا ہے؟

کبھی کبھی تھوڑا سا۔ LLM.int8() بتاتا ہے کہ 175B پیرامیٹرز تک 8-bit انفرنس میں کوئی گراوٹ نہیں ہوتی، اور GPTQ بتاتا ہے کہ فی weight 3 یا 4 bit پر نقصان نہ ہونے کے برابر ہے۔ کم بٹس اور مشکل ٹاسکس سے خطرہ بڑھتا ہے، اس لیے اپنے پرامپٹس پر ٹیسٹ کریں۔

### کیا میں جان سکتا ہوں کہ کوئی API کوانٹائزڈ ماڈل چلا رہا ہے؟

عموماً تب ہی جب فراہم کنندہ خود بتائے۔ API دونوں صورتوں میں جواب کی ایک ہی ساخت لوٹاتا ہے، اس لیے اپنے ٹیسٹس پر آؤٹ پٹس کا موازنہ کریں اور فراہم کنندہ سے پوچھیں کہ وہ کون سا پریسیژن استعمال کرتا ہے۔

### کوانٹائزیشن سے کتنی میموری بچتی ہے؟

weights کی میموری فی weight بٹس کے تناسب سے بدلتی ہے۔ 25.2B پیرامیٹرز والے ماڈل کو 16-bit پر تقریباً 50.4 GB، 8-bit پر 25.2 GB اور 4-bit پر 12.6 GB چاہیے، KV cache اور activations سے پہلے۔

## یہ بھی دیکھیں

-   [FP8 (8 بٹ فلوٹنگ پوائنٹ)](https://broadrouter.com/ur/glossary/fp8/) (اصطلاح)
-   [INT4 (4 بٹ کوانٹائزیشن)](https://broadrouter.com/ur/glossary/int4/) (اصطلاح)
-   [KV cache (کی ویلیو کیش)](https://broadrouter.com/ur/glossary/kv-cache/) (اصطلاح)
-   [Mixture of experts (MoE)](https://broadrouter.com/ur/glossary/mixture-of-experts/) (اصطلاح)
-   [اوپن ویٹ ماڈل (open-weight model)](https://broadrouter.com/ur/glossary/open-weight-model/) (اصطلاح)
-   [AWQ (activation-aware weight quantization)](https://broadrouter.com/ur/glossary/awq/) (اصطلاح)
-   [GGUF](https://broadrouter.com/ur/glossary/gguf/) (اصطلاح)
-   [BroadNet Inference کے ساتھ OpenAI Python SDK استعمال کریں](https://broadrouter.com/ur/guides/openai-python-sdk/) (گائیڈ)
-   [کاروبار کے لیے open-weight بمقابلہ closed AI ماڈلز: لاگت، کنٹرول، خطرہ](https://broadrouter.com/ur/blog/open-weight-vs-closed-models/) (مضمون)
-   [LLM خود ہوسٹ کریں یا API لیں: اصل لاگت اور بریک ایون](https://broadrouter.com/ur/blog/self-hosting-llm-vs-api-cost/) (مضمون)

اسے اپنے اصل کام پر آزمائیں۔ نئے اکاؤنٹس Gemma اور ٹرانسکرپشن کے لیے US$5 کے کریڈٹ سے شروع ہوتے ہیں۔ DeepSeek، GLM، اور Qwen3.8 کے لیے ٹاپ اپ ضروری ہے۔

[شروع کریں](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-glossary-quantization&utm_content=page-cta) ·

**ذرائع**

-   [Hugging Face Transformers، کوانٹائزیشن ریفرنس](https://huggingface.co/docs/transformers/en/main_classes/quantization)
-   [Dettmers اور ساتھی، LLM.int8() 8-bit Matrix Multiplication for Transformers at Scale، arXiv 2208.07339](https://arxiv.org/abs/2208.07339)
-   [Frantar اور ساتھی، GPTQ، Accurate Post-Training Quantization for Generative Pre-trained Transformers، arXiv 2210.17323](https://arxiv.org/abs/2210.17323)
-   [Google، Gemma 4 26B A4B ماڈل کارڈ (پیرامیٹرز کی تعداد)](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [BroadNet ماڈل کیٹلاگ (لیب پیمائشیں، ستمبر 2026) (انگریزی میں)](https://www.broadnet.ai/inference/models)
