BroadRouter
شروع کریں

INT4 (4 بٹ کوانٹائزیشن)

اپ ڈیٹ

INT4 ایک 4-bit integer نمبر فارمیٹ ہے جو 16 سطحیں ظاہر کر سکتا ہے۔ LLM انفرنس میں اس کا مطلب عموماً 4-bit weight-only کوانٹائزیشن (W4A16) ہوتا ہے: weights کو scale factors کے ساتھ INT4 میں رکھا جاتا ہے اور حساب کے دوران 16-bit میں پھیلایا جاتا ہے، جس سے 16-bit weights کی تقریباً ایک چوتھائی میموری لگتی ہے۔

دوسرے نام: 4 بٹ کوانٹائزیشن، INT4 کوانٹائزیشن، int4 kya hai، 4 bit quantization kya hai، INT4، 4-bit quantization، W4A16، 4-bit integer، INT4 weight-only، 4-bit LLM

INT4 وہ مقام ہے جہاں کوانٹائزیشن جارحانہ ہو جاتی ہے: ہر weight کو صرف 16 ممکنہ قدریں ملتی ہیں۔

یہ کیسے کام کرتا ہے

TensorRT-LLM کی پریسیژن گائیڈ عام شکل، W4A16، بیان کرتی ہے: weights کو 4 bits میں کوانٹائز کیا جاتا ہے اور matrix multiply کے اندر “on-the-fly” (چلتے چلتے) dequantize کیا جاتا ہے، جبکہ activations FP16 یا BF16 میں رہتی ہیں۔ TensorRT-LLM per-group scaling factors سپورٹ کرتا ہے: weights کے ہر چھوٹے گروپ کو اپنا scale ملتا ہے تاکہ 16 سطحیں درست رینج کا احاطہ کریں۔ vLLM کی INT4 مثال W4A16-G128 checkpoint محفوظ کرتی ہے، یعنی ہر 128 weights پر ایک گروپ۔

سیدھا 16 سطحوں پر راؤنڈ کرنے میں بہت نقصان ہوتا ہے، اس لیے مقبول طریقے یہ کام زیادہ سمجھداری سے کرتے ہیں:

  • GPTQ تخمینی second-order معلومات سے ایسی راؤنڈنگ چنتا ہے جو آؤٹ پٹ ایرر کو محدود رکھے۔ پیپر فی weight 3 یا 4 bits پر نہ ہونے کے برابر نقصان بتاتا ہے، جو 175B ماڈل کو ایک GPU پر چلانے کے لیے کافی ہے۔
  • AWQ یہ مشاہدہ کرتا ہے کہ “not all weights in an LLM are equally important.” (ترجمہ: LLM کے تمام weights برابر اہم نہیں ہوتے۔) activation کے اعداد و شمار سے پہچانے گئے تقریباً 1% اہم چینلز کو بچانے سے ایرر بہت کم ہوتا ہے۔ اس کا TinyChat رن ٹائم ڈیوائسز پر 4-bit ماڈلز کے لیے 3 گنا سے زیادہ اسپیڈ اپ بتاتا ہے۔

یہ کیوں اہم ہے

میموری کی بچت بڑی ہے۔ فی weight 0.5 بائٹ پر، ماڈل کے weights اپنے 16-bit سائز کا ایک چوتھائی لیتے ہیں۔ 25.2B پیرامیٹرز والے ماڈل کے لیے: BF16 میں 25.2B × 2 بائٹس = 50.4 GB، جبکہ INT4 میں 25.2B × 0.5 بائٹ = 12.6 GB، ساتھ میں scale factors کے لیے تھوڑا اور۔ جنریشن کی رفتار اکثر اس بات سے محدود ہوتی ہے کہ weights میموری سے کتنی تیزی سے آتے ہیں، اس لیے 4-bit weights latency بھی کم کر سکتے ہیں۔ vLLM کی دستاویزات کہتی ہیں کہ INT4 W4A16 latency کم رکھنے کے لیے “in workloads with low queries per second” (ترجمہ: کم queries per second والے ورک لوڈز میں) سب سے مفید ہے۔ زیادہ لوڈ پر weights کو dequantize کرنے کی لاگت زیادہ اہم ہو جاتی ہے اور فائدہ کم ہو جاتا ہے۔

صرف 16 سطحوں کے ساتھ راؤنڈنگ ایرر FP8 سے بڑا ہوتا ہے، اور اسی لیے GPTQ اور AWQ وجود میں آئے۔ اوسط بینچ مارک اسکور ان کاموں پر نقصان چھپا سکتا ہے جن کی آپ کو پروا ہے، جیسے لمبی reasoning، درست حساب، کوڈ یا کم عام زبان۔ اگر کوئی INT4 بلڈ آپ کے اپنے ٹیسٹ سیٹ پر 16-bit ورژن سے برا کرے تو اپنے ٹیسٹ پر بھروسہ کریں۔

Mixture-of-experts ماڈلز اکثر INT4 کے امیدوار ہوتے ہیں، کیونکہ تمام experts کو میموری میں سمانا ہوتا ہے، چاہے ہر ٹوکن پر چند ہی چلیں۔

BroadNet Inference پر

BroadNet کا ماڈل کیٹلاگ کہتا ہے کہ اس کا پروڈکشن Gemma 4 26B A4B بلڈ (API ID broadnet/gemma-4-26b-a4b) AWQ 4-bit weights استعمال کرتا ہے، ساتھ میں multi-token prediction اور FP8 KV cache۔ یہ BroadNet کی اپنی وضاحت ہے؛ API دستاویزات باقی ماڈلز کی پریسیژن نہیں بتاتیں۔ اگر آپ 4-bit ماڈل خود ہوسٹ کرنے اور API کال کرنے کے درمیان انتخاب کر رہے ہیں تو سیلف ہوسٹنگ لاگت کا موازنہ اور LLM API لاگت کیلکولیٹر کل خرچ کے موازنے میں مدد دیتے ہیں۔

عام سوالات

INT4 سے کتنی میموری بچتی ہے؟

ہر weight دو بائٹس کے بجائے آدھا بائٹ لیتا ہے، یعنی 16-bit سائز کا تقریباً ایک چوتھائی، ساتھ میں scale factors کا تھوڑا اضافی خرچ۔ 25.2B پیرامیٹرز والے ماڈل کے weights تقریباً 50.4 GB سے گھٹ کر تقریباً 12.6 GB رہ جاتے ہیں۔

کیا INT4، NF4 یا FP4 جیسا ہی ہے؟

نہیں۔ تینوں 4 bits استعمال کرتے ہیں، لیکن NF4 اور FP4 اپنی 16 سطحیں غیر مساوی طور پر رکھتے ہیں، جبکہ INT4 انہیں برابر فاصلے پر رکھتا ہے۔ Hugging Face کا bitsandbytes انٹیگریشن FP4 اور NF4 دیتا ہے؛ GPTQ اور AWQ checkpoints عموماً INT4 استعمال کرتے ہیں۔

کیا INT4 سے ماڈل تیز ہو جاتا ہے؟

کم لوڈ پر اکثر، کیونکہ جنریشن میموری سے weights پڑھنے کی رفتار سے محدود ہوتی ہے اور 4-bit weights چھوٹے ہوتے ہیں۔ vLLM کی دستاویزات کہتی ہیں کہ INT4 W4A16 سب سے زیادہ کم queries per second والے ورک لوڈز میں مدد کرتا ہے؛ بھاری لوڈ پر فائدہ کم ہو جاتا ہے۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں