---
title: "INT4 کوانٹائزیشن کیا ہے؟ 4-bit LLM weights | BroadRouter"
description: "INT4 ہر LLM weight کو 4-bit integer میں رکھتا ہے، 16-bit سائز کا ایک چوتھائی۔ 4-bit weight-only کوانٹائزیشن، GPTQ اور AWQ کیسے کام کرتے ہیں، اور معیار کے خطرات۔"
url: https://broadrouter.com/ur/glossary/int4/
lang: ur
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

یہ صفحہ انگریزی سے AI کی مدد سے ترجمہ کیا گیا ہے۔ [انگریزی اصل پڑھیں](https://broadrouter.com/glossary/int4/) (اپ ڈیٹ: 2026-11-16).

# INT4 (4 بٹ کوانٹائزیشن)

اپ ڈیٹ 2026-11-16

INT4 ایک 4-bit integer نمبر فارمیٹ ہے جو 16 سطحیں ظاہر کر سکتا ہے۔ LLM انفرنس میں اس کا مطلب عموماً 4-bit weight-only کوانٹائزیشن (W4A16) ہوتا ہے: weights کو scale factors کے ساتھ INT4 میں رکھا جاتا ہے اور حساب کے دوران 16-bit میں پھیلایا جاتا ہے، جس سے 16-bit weights کی تقریباً ایک چوتھائی میموری لگتی ہے۔

دوسرے نام: 4 بٹ کوانٹائزیشن، INT4 کوانٹائزیشن، int4 kya hai، 4 bit quantization kya hai، INT4، 4-bit quantization، W4A16، 4-bit integer، INT4 weight-only، 4-bit LLM

INT4 وہ مقام ہے جہاں کوانٹائزیشن جارحانہ ہو جاتی ہے: ہر weight کو صرف 16 ممکنہ قدریں ملتی ہیں۔

## یہ کیسے کام کرتا ہے

TensorRT-LLM کی پریسیژن گائیڈ عام شکل، **W4A16**، بیان کرتی ہے: weights کو 4 bits میں کوانٹائز کیا جاتا ہے اور matrix multiply کے اندر “on-the-fly” (چلتے چلتے) dequantize کیا جاتا ہے، جبکہ activations FP16 یا BF16 میں رہتی ہیں۔ TensorRT-LLM per-group scaling factors سپورٹ کرتا ہے: weights کے ہر چھوٹے گروپ کو اپنا scale ملتا ہے تاکہ 16 سطحیں درست رینج کا احاطہ کریں۔ vLLM کی INT4 مثال `W4A16-G128` checkpoint محفوظ کرتی ہے، یعنی ہر 128 weights پر ایک گروپ۔

سیدھا 16 سطحوں پر راؤنڈ کرنے میں بہت نقصان ہوتا ہے، اس لیے مقبول طریقے یہ کام زیادہ سمجھداری سے کرتے ہیں:

-   **GPTQ** تخمینی second-order معلومات سے ایسی راؤنڈنگ چنتا ہے جو آؤٹ پٹ ایرر کو محدود رکھے۔ پیپر فی weight 3 یا 4 bits پر نہ ہونے کے برابر نقصان بتاتا ہے، جو 175B ماڈل کو ایک GPU پر چلانے کے لیے کافی ہے۔
-   **AWQ** یہ مشاہدہ کرتا ہے کہ “not all weights in an LLM are equally important.” (ترجمہ: LLM کے تمام weights برابر اہم نہیں ہوتے۔) activation کے اعداد و شمار سے پہچانے گئے تقریباً 1% اہم چینلز کو بچانے سے ایرر بہت کم ہوتا ہے۔ اس کا TinyChat رن ٹائم ڈیوائسز پر 4-bit ماڈلز کے لیے 3 گنا سے زیادہ اسپیڈ اپ بتاتا ہے۔

## یہ کیوں اہم ہے

میموری کی بچت بڑی ہے۔ فی weight 0.5 بائٹ پر، ماڈل کے weights اپنے 16-bit سائز کا ایک چوتھائی لیتے ہیں۔ 25.2B پیرامیٹرز والے ماڈل کے لیے: BF16 میں 25.2B × 2 بائٹس = 50.4 GB، جبکہ INT4 میں 25.2B × 0.5 بائٹ = 12.6 GB، ساتھ میں scale factors کے لیے تھوڑا اور۔ جنریشن کی رفتار اکثر اس بات سے محدود ہوتی ہے کہ weights میموری سے کتنی تیزی سے آتے ہیں، اس لیے 4-bit weights [latency](https://broadrouter.com/ur/glossary/latency/) بھی کم کر سکتے ہیں۔ vLLM کی دستاویزات کہتی ہیں کہ INT4 W4A16 latency کم رکھنے کے لیے “in workloads with low queries per second” (ترجمہ: کم queries per second والے ورک لوڈز میں) سب سے مفید ہے۔ زیادہ لوڈ پر weights کو dequantize کرنے کی لاگت زیادہ اہم ہو جاتی ہے اور فائدہ کم ہو جاتا ہے۔

صرف 16 سطحوں کے ساتھ راؤنڈنگ ایرر [FP8](https://broadrouter.com/ur/glossary/fp8/) سے بڑا ہوتا ہے، اور اسی لیے GPTQ اور AWQ وجود میں آئے۔ اوسط بینچ مارک اسکور ان کاموں پر نقصان چھپا سکتا ہے جن کی آپ کو پروا ہے، جیسے لمبی reasoning، درست حساب، کوڈ یا کم عام زبان۔ اگر کوئی INT4 بلڈ آپ کے اپنے ٹیسٹ سیٹ پر 16-bit ورژن سے برا کرے تو اپنے ٹیسٹ پر بھروسہ کریں۔

[Mixture-of-experts](https://broadrouter.com/ur/glossary/mixture-of-experts/) ماڈلز اکثر INT4 کے امیدوار ہوتے ہیں، کیونکہ تمام experts کو میموری میں سمانا ہوتا ہے، چاہے ہر ٹوکن پر چند ہی چلیں۔

## BroadNet Inference پر

BroadNet کا [ماڈل کیٹلاگ](https://www.broadnet.ai/inference/models) کہتا ہے کہ اس کا پروڈکشن Gemma 4 26B A4B بلڈ (API ID `broadnet/gemma-4-26b-a4b`) AWQ 4-bit weights استعمال کرتا ہے، ساتھ میں multi-token prediction اور FP8 KV cache۔ یہ BroadNet کی اپنی وضاحت ہے؛ API دستاویزات باقی ماڈلز کی پریسیژن نہیں بتاتیں۔ اگر آپ 4-bit ماڈل خود ہوسٹ کرنے اور API کال کرنے کے درمیان انتخاب کر رہے ہیں تو [سیلف ہوسٹنگ لاگت کا موازنہ](https://broadrouter.com/ur/blog/self-hosting-llm-vs-api-cost/) اور [LLM API لاگت کیلکولیٹر](https://broadrouter.com/tools/llm-api-cost-calculator/) کل خرچ کے موازنے میں مدد دیتے ہیں۔

## عام سوالات

### INT4 سے کتنی میموری بچتی ہے؟

ہر weight دو بائٹس کے بجائے آدھا بائٹ لیتا ہے، یعنی 16-bit سائز کا تقریباً ایک چوتھائی، ساتھ میں scale factors کا تھوڑا اضافی خرچ۔ 25.2B پیرامیٹرز والے ماڈل کے weights تقریباً 50.4 GB سے گھٹ کر تقریباً 12.6 GB رہ جاتے ہیں۔

### کیا INT4، NF4 یا FP4 جیسا ہی ہے؟

نہیں۔ تینوں 4 bits استعمال کرتے ہیں، لیکن NF4 اور FP4 اپنی 16 سطحیں غیر مساوی طور پر رکھتے ہیں، جبکہ INT4 انہیں برابر فاصلے پر رکھتا ہے۔ Hugging Face کا bitsandbytes انٹیگریشن FP4 اور NF4 دیتا ہے؛ GPTQ اور AWQ checkpoints عموماً INT4 استعمال کرتے ہیں۔

### کیا INT4 سے ماڈل تیز ہو جاتا ہے؟

کم لوڈ پر اکثر، کیونکہ جنریشن میموری سے weights پڑھنے کی رفتار سے محدود ہوتی ہے اور 4-bit weights چھوٹے ہوتے ہیں۔ vLLM کی دستاویزات کہتی ہیں کہ INT4 W4A16 سب سے زیادہ کم queries per second والے ورک لوڈز میں مدد کرتا ہے؛ بھاری لوڈ پر فائدہ کم ہو جاتا ہے۔

## یہ بھی دیکھیں

-   [کوانٹائزیشن (quantization)](https://broadrouter.com/ur/glossary/quantization/) (اصطلاح)
-   [FP8 (8 بٹ فلوٹنگ پوائنٹ)](https://broadrouter.com/ur/glossary/fp8/) (اصطلاح)
-   [Mixture of experts (MoE)](https://broadrouter.com/ur/glossary/mixture-of-experts/) (اصطلاح)
-   [لیٹنسی (latency)](https://broadrouter.com/ur/glossary/latency/) (اصطلاح)
-   [AWQ (activation-aware weight quantization)](https://broadrouter.com/ur/glossary/awq/) (اصطلاح)
-   [BroadNet Inference کے ساتھ OpenAI Python SDK استعمال کریں](https://broadrouter.com/ur/guides/openai-python-sdk/) (گائیڈ)
-   [LLM خود ہوسٹ کریں یا API لیں: اصل لاگت اور بریک ایون](https://broadrouter.com/ur/blog/self-hosting-llm-vs-api-cost/) (مضمون)
-   [کاروبار کے لیے open-weight بمقابلہ closed AI ماڈلز: لاگت، کنٹرول، خطرہ](https://broadrouter.com/ur/blog/open-weight-vs-closed-models/) (مضمون)

اسے اپنے اصل کام پر آزمائیں۔ نئے اکاؤنٹس Gemma اور ٹرانسکرپشن کے لیے US$5 کے کریڈٹ سے شروع ہوتے ہیں۔ DeepSeek، GLM، اور Qwen3.8 کے لیے ٹاپ اپ ضروری ہے۔

[شروع کریں](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-glossary-int4&utm_content=page-cta) ·

**ذرائع**

-   [BroadNet ماڈل کیٹلاگ (Gemma 4 26B A4B، AWQ 4-bit) (انگریزی میں)](https://www.broadnet.ai/inference/models)
-   [NVIDIA TensorRT-LLM، عددی پریسیژن (INT4 اور INT8 weight-only)](https://nvidia.github.io/TensorRT-LLM/reference/precision.html)
-   [Lin اور ساتھی، AWQ, Activation-aware Weight Quantization، arXiv 2306.00978](https://arxiv.org/abs/2306.00978)
-   [Frantar اور ساتھی، GPTQ، arXiv 2210.17323](https://arxiv.org/abs/2210.17323)
-   [vLLM دستاویزات، INT4 W4A16 کوانٹائزیشن](https://docs.vllm.ai/en/latest/features/quantization/llm_compressor/int4/)
-   [Hugging Face Transformers دستاویزات، bitsandbytes (NF4 اور FP4 کی 4-bit اقسام) (جانچ: 2026-11-16)](https://huggingface.co/docs/transformers/main/en/quantization/bitsandbytes)
