INT4 وہ مقام ہے جہاں کوانٹائزیشن جارحانہ ہو جاتی ہے: ہر weight کو صرف 16 ممکنہ قدریں ملتی ہیں۔
یہ کیسے کام کرتا ہے
TensorRT-LLM کی پریسیژن گائیڈ عام شکل، W4A16، بیان کرتی ہے: weights کو 4 bits میں کوانٹائز کیا جاتا ہے اور matrix multiply کے اندر “on-the-fly” (چلتے چلتے) dequantize کیا جاتا ہے، جبکہ activations FP16 یا BF16 میں رہتی ہیں۔ TensorRT-LLM per-group scaling factors سپورٹ کرتا ہے: weights کے ہر چھوٹے گروپ کو اپنا scale ملتا ہے تاکہ 16 سطحیں درست رینج کا احاطہ کریں۔ vLLM کی INT4 مثال W4A16-G128 checkpoint محفوظ کرتی ہے، یعنی ہر 128 weights پر ایک گروپ۔
سیدھا 16 سطحوں پر راؤنڈ کرنے میں بہت نقصان ہوتا ہے، اس لیے مقبول طریقے یہ کام زیادہ سمجھداری سے کرتے ہیں:
- GPTQ تخمینی second-order معلومات سے ایسی راؤنڈنگ چنتا ہے جو آؤٹ پٹ ایرر کو محدود رکھے۔ پیپر فی weight 3 یا 4 bits پر نہ ہونے کے برابر نقصان بتاتا ہے، جو 175B ماڈل کو ایک GPU پر چلانے کے لیے کافی ہے۔
- AWQ یہ مشاہدہ کرتا ہے کہ “not all weights in an LLM are equally important.” (ترجمہ: LLM کے تمام weights برابر اہم نہیں ہوتے۔) activation کے اعداد و شمار سے پہچانے گئے تقریباً 1% اہم چینلز کو بچانے سے ایرر بہت کم ہوتا ہے۔ اس کا TinyChat رن ٹائم ڈیوائسز پر 4-bit ماڈلز کے لیے 3 گنا سے زیادہ اسپیڈ اپ بتاتا ہے۔
یہ کیوں اہم ہے
میموری کی بچت بڑی ہے۔ فی weight 0.5 بائٹ پر، ماڈل کے weights اپنے 16-bit سائز کا ایک چوتھائی لیتے ہیں۔ 25.2B پیرامیٹرز والے ماڈل کے لیے: BF16 میں 25.2B × 2 بائٹس = 50.4 GB، جبکہ INT4 میں 25.2B × 0.5 بائٹ = 12.6 GB، ساتھ میں scale factors کے لیے تھوڑا اور۔ جنریشن کی رفتار اکثر اس بات سے محدود ہوتی ہے کہ weights میموری سے کتنی تیزی سے آتے ہیں، اس لیے 4-bit weights latency بھی کم کر سکتے ہیں۔ vLLM کی دستاویزات کہتی ہیں کہ INT4 W4A16 latency کم رکھنے کے لیے “in workloads with low queries per second” (ترجمہ: کم queries per second والے ورک لوڈز میں) سب سے مفید ہے۔ زیادہ لوڈ پر weights کو dequantize کرنے کی لاگت زیادہ اہم ہو جاتی ہے اور فائدہ کم ہو جاتا ہے۔
صرف 16 سطحوں کے ساتھ راؤنڈنگ ایرر FP8 سے بڑا ہوتا ہے، اور اسی لیے GPTQ اور AWQ وجود میں آئے۔ اوسط بینچ مارک اسکور ان کاموں پر نقصان چھپا سکتا ہے جن کی آپ کو پروا ہے، جیسے لمبی reasoning، درست حساب، کوڈ یا کم عام زبان۔ اگر کوئی INT4 بلڈ آپ کے اپنے ٹیسٹ سیٹ پر 16-bit ورژن سے برا کرے تو اپنے ٹیسٹ پر بھروسہ کریں۔
Mixture-of-experts ماڈلز اکثر INT4 کے امیدوار ہوتے ہیں، کیونکہ تمام experts کو میموری میں سمانا ہوتا ہے، چاہے ہر ٹوکن پر چند ہی چلیں۔
BroadNet Inference پر
BroadNet کا ماڈل کیٹلاگ کہتا ہے کہ اس کا پروڈکشن Gemma 4 26B A4B بلڈ (API ID broadnet/gemma-4-26b-a4b) AWQ 4-bit weights استعمال کرتا ہے، ساتھ میں multi-token prediction اور FP8 KV cache۔ یہ BroadNet کی اپنی وضاحت ہے؛ API دستاویزات باقی ماڈلز کی پریسیژن نہیں بتاتیں۔ اگر آپ 4-bit ماڈل خود ہوسٹ کرنے اور API کال کرنے کے درمیان انتخاب کر رہے ہیں تو سیلف ہوسٹنگ لاگت کا موازنہ اور LLM API لاگت کیلکولیٹر کل خرچ کے موازنے میں مدد دیتے ہیں۔