---
title: "FP8 کیا ہے؟ LLM انفرینس کے لیے 8 بٹ فلوٹنگ پوائنٹ | BroadRouter"
description: "FP8 ایک 8 بٹ فلوٹنگ پوائنٹ فارمیٹ (E4M3، E5M2) ہے جو LLMs کو 16 بٹ کی آدھی میموری میں چلاتا ہے۔ یہ INT8 سے کیسے مختلف ہے، اور کون سے GPUs اسے سپورٹ کرتے ہیں۔"
url: https://broadrouter.com/ur/glossary/fp8/
lang: ur
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

یہ صفحہ انگریزی سے AI کی مدد سے ترجمہ کیا گیا ہے۔ [انگریزی اصل پڑھیں](https://broadrouter.com/glossary/fp8/) (اپ ڈیٹ: 2026-11-14).

# FP8 (8 بٹ فلوٹنگ پوائنٹ)

اپ ڈیٹ 2026-11-14

FP8 ڈیپ لرننگ میں استعمال ہونے والا 8 بٹ فلوٹنگ پوائنٹ نمبر فارمیٹ ہے، جس کی دو انکوڈنگز ہیں: E4M3، جس میں 4 ایکسپوننٹ اور 3 مینٹیسا بٹس ہیں، اور E5M2، جس میں 5 ایکسپوننٹ اور 2 مینٹیسا بٹس ہیں۔ یہ 16 بٹ فارمیٹس کے مقابلے میں میموری آدھی کرتا ہے اور نئے GPUs پر براہِ راست چلتا ہے۔

دوسرے نام: FP8، 8 بٹ فلوٹنگ پوائنٹ، fp8 kya hai، fp8 quantization kya hai، 8-bit floating point، E4M3، E5M2، FP8 quantization، W8A8 FP8

FP8 وہ 8 بٹ نمبر فارمیٹ ہے جسے زیادہ تر نئے GPUs براہِ راست سمجھتے ہیں۔ بڑے ماڈل کو سرو کرتے وقت 16 بٹ سے نیچے کا پہلا قدم اکثر یہی ہوتا ہے۔

## یہ کیسے کام کرتا ہے

فلوٹنگ پوائنٹ نمبر میں ایک سائن، ایک ایکسپوننٹ اور ایک مینٹیسا ہوتا ہے۔ Micikevicius اور ساتھیوں کا FP8 مقالہ دو لے آؤٹس طے کرتا ہے، دونوں میں ایک سائن بٹ:

| انکوڈنگ | ایکسپوننٹ بٹس | مینٹیسا بٹس | سمجھوتہ |
| --- | --- | --- | --- |
| E4M3 | 4 | 3 | زیادہ پریسیژن؛ vLLM زیادہ سے زیادہ ±448 درج کرتا ہے |
| E5M2 | 5 | 2 | کم پریسیژن؛ vLLM زیادہ سے زیادہ ±57,344 درج کرتا ہے |

E5M2 خاص قدروں کے لیے IEEE 754 کے قواعد مانتا ہے۔ E4M3 اپنی رینج بڑھانے کے لیے انفینٹی چھوڑ دیتا ہے اور صرف ایک NaN پیٹرن رکھتا ہے۔ دونوں میں صرف 256 ممکنہ قدریں ہیں، اس لیے ایک اسکیل فیکٹر ہر ٹینسر کو فارمیٹ کی رینج میں لاتا ہے۔

[کوانٹائزیشن](https://broadrouter.com/ur/glossary/quantization/) کے ہدف کے طور پر FP8 عموماً **W8A8** کی شکل میں لگتا ہے: ویٹس اور ایکٹیویشنز دونوں 8 بٹ میں، ہر ٹینسر یا ہر بلاک کے لیے ایک اسکیل فیکٹر کے ساتھ۔ مقالہ بتاتا ہے کہ 175B پیرامیٹرز تک کے ماڈلز پر FP8 نے 16 بٹ تربیت جتنا معیار دیا۔ وہ یہ بھی بتاتا ہے کہ FP8 پوسٹ ٹریننگ کوانٹائزیشن ان لینگویج ماڈلز پر بھی کام آئی “that resisted fixed point int8 quantization” (ترجمہ: جن پر فکسڈ پوائنٹ int8 کوانٹائزیشن کامیاب نہیں ہو رہی تھی)، کیونکہ ایکسپوننٹ غیر معمولی قدروں کو بہتر سنبھالتا ہے۔

FP8 دوسرے فارمیٹس کے اندر بھی نظر آتا ہے۔ DeepSeek V4.1 Flash کا DeepSeek کارڈ اپنا مرکزی [KV کیش](https://broadrouter.com/ur/glossary/kv-cache/) 4 بٹ فلوٹس میں رکھتا ہے، “one E4M3 scale per 16 channels” (ترجمہ: ہر 16 چینلز پر ایک E4M3 اسکیل) کے ساتھ۔

## یہ کیوں اہم ہے

vLLM کی دستاویزات کہتی ہیں کہ FP8 سے “a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy.” (ترجمہ: ماڈل کی میموری کی ضرورت میں 2 گنا کمی اور تھروپٹ میں 1.6 گنا تک بہتری ملتی ہے، درستگی پر بہت کم اثر کے ساتھ۔) فراہم کنندہ کے لیے اس کا مطلب ہے کہ ماڈل کم GPUs پر سما جاتا ہے، یا انہی GPUs پر ایک ساتھ زیادہ درخواستیں چلتی ہیں، جس سے [تھروپٹ](https://broadrouter.com/ur/glossary/throughput/) بڑھتا ہے اور فی ٹوکن لاگت کم ہوتی ہے۔

API صارف کے لیے FP8 کوانٹائزیشن کا ہلکا سرا ہے: vLLM درستگی پر بہت کم اثر رپورٹ کرتا ہے، پھر بھی جن کاموں پر آپ انحصار کرتے ہیں انہیں ٹیسٹ کریں۔ یہ [INT4](https://broadrouter.com/ur/glossary/int4/) سے کم جارحانہ قدم ہے، جو زیادہ میموری بچاتا ہے لیکن مشکل کاموں پر زیادہ خطرہ رکھتا ہے۔

## BroadNet Inference پر

BroadNet کا [ماڈل کیٹلاگ](https://www.broadnet.ai/inference/models) بتاتا ہے کہ اس کا پروڈکشن Gemma 4 26B A4B بلڈ KV کیش کو FP8 میں رکھتا ہے، اور ویٹس [INT4](https://broadrouter.com/ur/glossary/int4/) AWQ میں ہیں۔ یہ BroadNet کا اپنا بیان ہے؛ API دستاویزات باقی ماڈلز کا پریسیژن نہیں بتاتیں۔ اگر کسی آڈٹ یا ریگولیٹڈ ورک فلو کے لیے درست نمبر فارمیٹ اہم ہے تو براہِ راست BroadNet سے پوچھیں۔ جو چیز آپ کے بل پر اثر ڈالتی ہے، اس کے لیے [قیمتوں کے صفحے](https://broadrouter.com/ur/pricing/) پر فی ٹوکن قیمتیں دیکھیں۔

## عام سوالات

### کیا FP8 اور INT8 ایک ہی ہیں؟

نہیں۔ دونوں 8 بٹس استعمال کرتے ہیں، لیکن FP8 کچھ بٹس ایکسپوننٹ پر خرچ کرتا ہے، اس لیے یہ قدروں کی زیادہ وسیع رینج کور کرتا ہے مگر ان کے درمیان پریسیژن کم ہوتا ہے۔ INT8 اپنے 256 درجے برابر فاصلے پر رکھتا ہے اور اچھے اسکیل فیکٹرز پر زیادہ منحصر ہے۔

### کون سے GPUs FP8 سپورٹ کرتے ہیں؟

vLLM کی دستاویزات FP8 کمپیوٹ کے لیے compute capability 8.9 یا اس سے اوپر والے NVIDIA GPUs (Ada Lovelace، Hopper، Blackwell) اور AMD MI300x درج کرتی ہیں۔ پرانے Turing اور Ampere کارڈز FP8 ویٹس لوڈ کر سکتے ہیں لیکن کمپیوٹ 16 بٹ میں کرتے ہیں۔

### FP8 اور INT4 میں کیا فرق ہے؟

FP8 ایکسپوننٹ کے ساتھ 8 بٹس استعمال کرتا ہے اور عموماً ویٹس اور ایکٹیویشنز دونوں پر لگتا ہے۔ INT4 برابر فاصلے والے 16 انٹیجر درجے استعمال کرتا ہے اور عموماً صرف ویٹس پر لگتا ہے۔ INT4 زیادہ میموری بچاتا ہے؛ FP8 میں درستگی کا خطرہ کم ہے۔

## یہ بھی دیکھیں

-   [کوانٹائزیشن (quantization)](https://broadrouter.com/ur/glossary/quantization/) (اصطلاح)
-   [INT4 (4 بٹ کوانٹائزیشن)](https://broadrouter.com/ur/glossary/int4/) (اصطلاح)
-   [KV cache (کی ویلیو کیش)](https://broadrouter.com/ur/glossary/kv-cache/) (اصطلاح)
-   [تھروپٹ (throughput)](https://broadrouter.com/ur/glossary/throughput/) (اصطلاح)
-   [BroadNet Inference کے ساتھ OpenAI Python SDK استعمال کریں](https://broadrouter.com/ur/guides/openai-python-sdk/) (گائیڈ)
-   [LLM خود ہوسٹ کریں یا API لیں: اصل لاگت اور بریک ایون](https://broadrouter.com/ur/blog/self-hosting-llm-vs-api-cost/) (مضمون)

اسے اپنے اصل کام پر آزمائیں۔ نئے اکاؤنٹس Gemma اور ٹرانسکرپشن کے لیے US$5 کے کریڈٹ سے شروع ہوتے ہیں۔ DeepSeek، GLM، اور Qwen3.8 کے لیے ٹاپ اپ ضروری ہے۔

[شروع کریں](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-glossary-fp8&utm_content=page-cta) ·

**ذرائع**

-   [BroadNet ماڈل کیٹلاگ (Gemma 4 26B A4B، FP8 KV کیش) (انگریزی میں)](https://www.broadnet.ai/inference/models)
-   [Micikevicius اور ساتھی، FP8 Formats for Deep Learning، arXiv 2209.05433](https://arxiv.org/abs/2209.05433)
-   [vLLM دستاویزات، FP8 W8A8 کوانٹائزیشن](https://docs.vllm.ai/en/latest/features/quantization/llm_compressor/fp8/)
-   [NVIDIA TensorRT-LLM، عددی پریسیژن](https://nvidia.github.io/TensorRT-LLM/reference/precision.html)
-   [DeepSeek، DeepSeek-V4.1-Flash ماڈل کارڈ (اس کے FP4 KV کیش میں E4M3 اسکیلز)](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
