زیادہ تر اوپن ماڈلز 16-bit weights کے ساتھ آتے ہیں۔ کوانٹائزیشن ان اعداد کو چھوٹا کرتی ہے تاکہ ماڈل کم GPUs پر سما جائے۔
یہ کیسے کام کرتی ہے
Hugging Face کوانٹائزیشن کو “representing weights and activations with lower-precision data types like 8-bit integers (int8)” (ترجمہ: weights اور activations کو 8-bit integers (int8) جیسے کم پریسیژن والے ڈیٹا ٹائپس میں ظاہر کرنا) بیان کرتا ہے۔ weights کے ہر بلاک کو ایک scale factor ملتا ہے۔ weights کو چند مخصوص سطحوں پر راؤنڈ کیا جاتا ہے اور چلتے وقت scale سے واپس ضرب دی جاتی ہے۔
weights کی میموری فی پیرامیٹر بٹس کے تناسب سے بدلتی ہے۔ Google کا Gemma 4 26B A4B لیں، جس میں 25.2B پیرامیٹرز ہیں:
| پریسیژن | فی weight بائٹس | صرف weights |
|---|---|---|
| 16-bit (BF16) | 2 | 25.2B × 2 = 50.4 GB |
| 8-bit (FP8 یا INT8) | 1 | 25.2 GB |
| 4-bit (INT4) | 0.5 | 12.6 GB |
KV cache اور activations کو اس کے اوپر سے جگہ چاہیے۔
طریقے اس بات میں مختلف ہیں کہ وہ کیا کوانٹائز کرتے ہیں اور سطحیں کیسے چنتے ہیں:
- LLM.int8() انفرنس کی میموری آدھی کرتا ہے اور چند outlier فیچرز 16-bit میں رکھتا ہے؛ مقالہ کہتا ہے کہ 99.9% سے زیادہ قدریں پھر بھی 8-bit حساب استعمال کرتی ہیں۔
- GPTQ ایک بار میں چلنے والا weight طریقہ ہے جو “negligible accuracy degradation” (ترجمہ: درستی میں نہ ہونے کے برابر کمی) کے ساتھ فی weight 3 یا 4 bit تک پہنچتا ہے، اور 175B ماڈل کو تقریباً چار GPU گھنٹوں میں کوانٹائز کرتا ہے۔
- صرف weight بمقابلہ weight اور activation۔ صرف weight والے فارمیٹس میموری بچاتے ہیں۔ activations کو بھی کوانٹائز کرنے سے، سپورٹ کرنے والے ہارڈویئر پر، میٹرکس کا حساب بھی تیز ہو سکتا ہے۔
یہ کیوں اہم ہے
API کال کرنے والے کے لیے کوانٹائزیشن درخواست میں نظر نہیں آتی، لیکن تین جگہ سامنے آتی ہے۔ قیمت: چھوٹے ماڈلز کو کم GPUs چاہییں، جس سے سرونگ کی لاگت کم ہوتی ہے۔ رفتار: جنریشن اکثر میموری بینڈوڈتھ سے محدود ہوتی ہے، اس لیے فی weight کم بائٹس کا مطلب زیادہ ٹوکن فی سیکنڈ ہو سکتا ہے۔ معیار: کم بٹس کا مطلب زیادہ راؤنڈنگ ایرر ہے، اور ماڈل اپنا اوسط اسکور برقرار رکھتے ہوئے بھی ان مخصوص ٹاسکس پر پھسل سکتا ہے جن پر آپ انحصار کرتے ہیں۔
اگر “ایک ہی” اوپن ماڈل چلانے والے دو فراہم کنندگان کے موازنے میں آپ کو مختلف نتائج ملتے ہیں تو پریسیژن ایک ممکنہ وجہ ہے۔
BroadNet Inference پر
BroadNet کا API ریفرنس سرونگ پریسیژن نہیں بتاتا۔ اس کا ماڈل کیٹلاگ پروڈکشن والے Gemma 4 26B A4B بلڈ کو، جو BroadNet Gemma 4 VL 26B کے نام سے دستیاب ہے، AWQ 4-bit weights اور FP8 KV cache کے ساتھ درج کرتا ہے۔ باقی ماڈلز کا API پریسیژن وہ نہیں بتاتا۔ اگر آپ کے کام کے لیے پریسیژن اہم ہے تو ہر فراہم کنندہ پر ایک ہی جانچ سیٹ چلائیں؛ ماڈل بدلنے سے پہلے اس کی جانچ کی چیک لسٹ بتاتی ہے کہ کیسے۔