---
title: "FP8 क्या है? LLM इन्फ़रेंस के लिए 8-बिट फ़्लोटिंग पॉइंट"
description: "FP8 एक 8-बिट फ़्लोटिंग-पॉइंट फ़ॉर्मैट (E4M3, E5M2) है जो LLM को 16-बिट की आधी मेमोरी में चलाता है। यह INT8 से कैसे अलग है, और कौन-से GPU इसे सपोर्ट करते हैं।"
url: https://broadrouter.com/hi/glossary/fp8/
lang: hi
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

यह पेज अंग्रेज़ी से AI की मदद से अनुवाद किया गया है। [अंग्रेज़ी मूल पढ़ें](https://broadrouter.com/glossary/fp8/) (2026-11-14 को अपडेट किया गया).

# FP8 (8-बिट फ़्लोटिंग पॉइंट)

अपडेट किया गया 2026-11-14

FP8 डीप लर्निंग में इस्तेमाल होने वाला 8-बिट फ़्लोटिंग-पॉइंट नंबर फ़ॉर्मैट है, जिसकी दो एन्कोडिंग हैं: E4M3, जिसमें 4 एक्सपोनेंट और 3 मैंटिसा बिट हैं, और E5M2, जिसमें 5 एक्सपोनेंट और 2 मैंटिसा बिट हैं। यह 16-बिट फ़ॉर्मैट के मुक़ाबले मेमोरी आधी करता है और नए GPU पर नेटिव चलता है।

अन्य नाम: FP8, 8-बिट फ़्लोटिंग पॉइंट, fp8 kya hai, fp8 quantization kya hai, 8-bit floating point, E4M3, E5M2, FP8 quantization, W8A8 FP8

FP8 वह 8-बिट नंबर फ़ॉर्मैट है जिसे ज़्यादातर नए GPU नेटिव रूप से समझते हैं। बड़े मॉडल को सर्व करते समय 16-बिट से नीचे का पहला क़दम अक्सर यही होता है।

## यह कैसे काम करता है

फ़्लोटिंग-पॉइंट नंबर में एक साइन, एक एक्सपोनेंट और एक मैंटिसा होता है। Micikevicius और साथियों का FP8 पेपर दो लेआउट तय करता है, दोनों में एक साइन बिट:

| एन्कोडिंग | एक्सपोनेंट बिट | मैंटिसा बिट | समझौता |
| --- | --- | --- | --- |
| E4M3 | 4 | 3 | ज़्यादा प्रिसिज़न; vLLM अधिकतम ±448 बताता है |
| E5M2 | 5 | 2 | कम प्रिसिज़न; vLLM अधिकतम ±57,344 बताता है |

E5M2 ख़ास मानों के लिए IEEE 754 के नियम मानता है। E4M3 अपनी रेंज बढ़ाने के लिए इनफ़िनिटी छोड़ देता है और सिर्फ़ एक NaN पैटर्न रखता है। दोनों में सिर्फ़ 256 संभावित मान हैं, इसलिए एक स्केल फ़ैक्टर हर टेंसर को फ़ॉर्मैट की रेंज में लाता है।

[क्वांटाइज़ेशन](https://broadrouter.com/hi/glossary/quantization/) के लक्ष्य के रूप में FP8 आम तौर पर **W8A8** के रूप में लगता है: वेट और एक्टिवेशन दोनों 8-बिट में, हर टेंसर या हर ब्लॉक के लिए एक स्केल फ़ैक्टर के साथ। पेपर बताता है कि 175B पैरामीटर तक के मॉडल पर FP8 ने 16-बिट ट्रेनिंग जितनी क्वालिटी दी। वह यह भी बताता है कि FP8 पोस्ट-ट्रेनिंग क्वांटाइज़ेशन उन लैंग्वेज मॉडल पर भी काम आया “that resisted fixed point int8 quantization” (अनुवाद: जिन पर फ़िक्स्ड-पॉइंट int8 क्वांटाइज़ेशन नहीं चल रहा था), क्योंकि एक्सपोनेंट आउटलायर को बेहतर सँभालता है।

FP8 दूसरे फ़ॉर्मैट के अंदर भी दिखता है। DeepSeek V4.1 Flash का DeepSeek कार्ड अपना मुख्य [KV कैश](https://broadrouter.com/hi/glossary/kv-cache/) 4-बिट फ़्लोट में रखता है, “one E4M3 scale per 16 channels” (अनुवाद: हर 16 चैनल पर एक E4M3 स्केल) के साथ।

## यह क्यों मायने रखता है

vLLM के डॉक्स कहते हैं कि FP8 से “a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy.” (अनुवाद: मॉडल की मेमोरी ज़रूरत में 2 गुना कमी और थ्रूपुट में 1.6 गुना तक सुधार मिलता है, सटीकता पर बहुत कम असर के साथ।) प्रोवाइडर के लिए इसका मतलब है कि मॉडल कम GPU पर समा जाता है, या उन्हीं GPU पर एक साथ ज़्यादा अनुरोध चलते हैं, जिससे [थ्रूपुट](https://broadrouter.com/hi/glossary/throughput/) बढ़ता है और प्रति टोकन लागत घटती है।

API यूज़र के लिए FP8 क्वांटाइज़ेशन का हल्का सिरा है: vLLM सटीकता पर बहुत कम असर बताता है, फिर भी जिन कामों पर आप निर्भर हैं, उन्हें टेस्ट करें। यह [INT4](https://broadrouter.com/hi/glossary/int4/) से कम आक्रामक क़दम है, जो ज़्यादा मेमोरी बचाता है लेकिन मुश्किल कामों पर ज़्यादा जोखिम रखता है।

## BroadNet Inference पर

BroadNet का [मॉडल कैटलॉग](https://www.broadnet.ai/inference/models) बताता है कि उसका प्रोडक्शन Gemma 4 26B A4B बिल्ड KV कैश को FP8 में रखता है, और वेट [INT4](https://broadrouter.com/hi/glossary/int4/) AWQ में हैं। यह BroadNet का अपना विवरण है; API डॉक्स बाक़ी मॉडल का प्रिसिज़न नहीं बताते। अगर किसी ऑडिट या रेगुलेटेड वर्कफ़्लो के लिए सटीक नंबर फ़ॉर्मैट मायने रखता है, तो सीधे BroadNet से पूछें। आपके बिल पर जो असर डालता है, उसके लिए [प्राइसिंग पेज](https://broadrouter.com/hi/pricing/) पर प्रति-टोकन कीमतें देखें।

## अक्सर पूछे जाने वाले सवाल

### क्या FP8 और INT8 एक ही हैं?

नहीं। दोनों 8 बिट इस्तेमाल करते हैं, लेकिन FP8 कुछ बिट एक्सपोनेंट पर ख़र्च करता है, इसलिए यह मानों की ज़्यादा बड़ी रेंज कवर करता है, पर उनके बीच प्रिसिज़न कम होता है। INT8 अपने 256 स्तर बराबर दूरी पर रखता है और अच्छे स्केल फ़ैक्टर पर ज़्यादा निर्भर है।

### कौन-से GPU FP8 सपोर्ट करते हैं?

vLLM के डॉक्स FP8 कंप्यूट के लिए compute capability 8.9 या उससे ऊपर वाले NVIDIA GPU (Ada Lovelace, Hopper, Blackwell) और AMD MI300x बताते हैं। पुराने Turing और Ampere कार्ड FP8 वेट लोड कर सकते हैं, लेकिन कंप्यूट 16-बिट में करते हैं।

### FP8 और INT4 में क्या फ़र्क़ है?

FP8 एक्सपोनेंट के साथ 8 बिट इस्तेमाल करता है और आम तौर पर वेट और एक्टिवेशन दोनों पर लगता है। INT4 बराबर दूरी वाले 16 इंटीजर स्तर इस्तेमाल करता है और आम तौर पर सिर्फ़ वेट पर लगता है। INT4 ज़्यादा मेमोरी बचाता है; FP8 में सटीकता का जोखिम कम है।

## यह भी देखें

-   [क्वांटाइज़ेशन (quantization)](https://broadrouter.com/hi/glossary/quantization/) (शब्द)
-   [INT4 (4-bit क्वांटाइज़ेशन)](https://broadrouter.com/hi/glossary/int4/) (शब्द)
-   [KV cache (की-वैल्यू कैश)](https://broadrouter.com/hi/glossary/kv-cache/) (शब्द)
-   [थ्रूपुट (throughput)](https://broadrouter.com/hi/glossary/throughput/) (शब्द)
-   [BroadNet Inference के साथ OpenAI Python SDK इस्तेमाल करें](https://broadrouter.com/hi/guides/openai-python-sdk/) (गाइड)
-   [LLM सेल्फ़-होस्ट करें या API लें: असली लागत और ब्रेक-ईवन](https://broadrouter.com/hi/blog/self-hosting-llm-vs-api-cost/) (लेख)

इसे अपने असली वर्कलोड पर आज़माएँ। नए अकाउंट Gemma और ट्रांसक्रिप्शन के लिए US$5 के क्रेडिट से शुरू होते हैं। DeepSeek, GLM, और Qwen3.8 के लिए टॉप-अप ज़रूरी है।

[शुरू करें](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-glossary-fp8&utm_content=page-cta) ·

**स्रोत**

-   [BroadNet मॉडल कैटलॉग (Gemma 4 26B A4B, FP8 KV कैश) (अंग्रेज़ी में)](https://www.broadnet.ai/inference/models)
-   [Micikevicius और साथी, FP8 Formats for Deep Learning, arXiv 2209.05433](https://arxiv.org/abs/2209.05433)
-   [vLLM डॉक्स, FP8 W8A8 क्वांटाइज़ेशन](https://docs.vllm.ai/en/latest/features/quantization/llm_compressor/fp8/)
-   [NVIDIA TensorRT-LLM, न्यूमेरिकल प्रिसिज़न](https://nvidia.github.io/TensorRT-LLM/reference/precision.html)
-   [DeepSeek, DeepSeek-V4.1-Flash मॉडल कार्ड (इसके FP4 KV कैश में E4M3 स्केल)](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
