FP8 وہ 8 بٹ نمبر فارمیٹ ہے جسے زیادہ تر نئے GPUs براہِ راست سمجھتے ہیں۔ بڑے ماڈل کو سرو کرتے وقت 16 بٹ سے نیچے کا پہلا قدم اکثر یہی ہوتا ہے۔
یہ کیسے کام کرتا ہے
فلوٹنگ پوائنٹ نمبر میں ایک سائن، ایک ایکسپوننٹ اور ایک مینٹیسا ہوتا ہے۔ Micikevicius اور ساتھیوں کا FP8 مقالہ دو لے آؤٹس طے کرتا ہے، دونوں میں ایک سائن بٹ:
| انکوڈنگ | ایکسپوننٹ بٹس | مینٹیسا بٹس | سمجھوتہ |
|---|---|---|---|
| E4M3 | 4 | 3 | زیادہ پریسیژن؛ vLLM زیادہ سے زیادہ ±448 درج کرتا ہے |
| E5M2 | 5 | 2 | کم پریسیژن؛ vLLM زیادہ سے زیادہ ±57,344 درج کرتا ہے |
E5M2 خاص قدروں کے لیے IEEE 754 کے قواعد مانتا ہے۔ E4M3 اپنی رینج بڑھانے کے لیے انفینٹی چھوڑ دیتا ہے اور صرف ایک NaN پیٹرن رکھتا ہے۔ دونوں میں صرف 256 ممکنہ قدریں ہیں، اس لیے ایک اسکیل فیکٹر ہر ٹینسر کو فارمیٹ کی رینج میں لاتا ہے۔
کوانٹائزیشن کے ہدف کے طور پر FP8 عموماً W8A8 کی شکل میں لگتا ہے: ویٹس اور ایکٹیویشنز دونوں 8 بٹ میں، ہر ٹینسر یا ہر بلاک کے لیے ایک اسکیل فیکٹر کے ساتھ۔ مقالہ بتاتا ہے کہ 175B پیرامیٹرز تک کے ماڈلز پر FP8 نے 16 بٹ تربیت جتنا معیار دیا۔ وہ یہ بھی بتاتا ہے کہ FP8 پوسٹ ٹریننگ کوانٹائزیشن ان لینگویج ماڈلز پر بھی کام آئی “that resisted fixed point int8 quantization” (ترجمہ: جن پر فکسڈ پوائنٹ int8 کوانٹائزیشن کامیاب نہیں ہو رہی تھی)، کیونکہ ایکسپوننٹ غیر معمولی قدروں کو بہتر سنبھالتا ہے۔
FP8 دوسرے فارمیٹس کے اندر بھی نظر آتا ہے۔ DeepSeek V4.1 Flash کا DeepSeek کارڈ اپنا مرکزی KV کیش 4 بٹ فلوٹس میں رکھتا ہے، “one E4M3 scale per 16 channels” (ترجمہ: ہر 16 چینلز پر ایک E4M3 اسکیل) کے ساتھ۔
یہ کیوں اہم ہے
vLLM کی دستاویزات کہتی ہیں کہ FP8 سے “a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy.” (ترجمہ: ماڈل کی میموری کی ضرورت میں 2 گنا کمی اور تھروپٹ میں 1.6 گنا تک بہتری ملتی ہے، درستگی پر بہت کم اثر کے ساتھ۔) فراہم کنندہ کے لیے اس کا مطلب ہے کہ ماڈل کم GPUs پر سما جاتا ہے، یا انہی GPUs پر ایک ساتھ زیادہ درخواستیں چلتی ہیں، جس سے تھروپٹ بڑھتا ہے اور فی ٹوکن لاگت کم ہوتی ہے۔
API صارف کے لیے FP8 کوانٹائزیشن کا ہلکا سرا ہے: vLLM درستگی پر بہت کم اثر رپورٹ کرتا ہے، پھر بھی جن کاموں پر آپ انحصار کرتے ہیں انہیں ٹیسٹ کریں۔ یہ INT4 سے کم جارحانہ قدم ہے، جو زیادہ میموری بچاتا ہے لیکن مشکل کاموں پر زیادہ خطرہ رکھتا ہے۔
BroadNet Inference پر
BroadNet کا ماڈل کیٹلاگ بتاتا ہے کہ اس کا پروڈکشن Gemma 4 26B A4B بلڈ KV کیش کو FP8 میں رکھتا ہے، اور ویٹس INT4 AWQ میں ہیں۔ یہ BroadNet کا اپنا بیان ہے؛ API دستاویزات باقی ماڈلز کا پریسیژن نہیں بتاتیں۔ اگر کسی آڈٹ یا ریگولیٹڈ ورک فلو کے لیے درست نمبر فارمیٹ اہم ہے تو براہِ راست BroadNet سے پوچھیں۔ جو چیز آپ کے بل پر اثر ڈالتی ہے، اس کے لیے قیمتوں کے صفحے پر فی ٹوکن قیمتیں دیکھیں۔