BroadRouter
ابدأ الآن

FP8

آخر تحديث

FP8 صيغة أعداد بفاصلة عائمة من 8 بت تُستخدم في التعلم العميق، ولها ترميزان: E4M3 بأربع بتات للأس وثلاث للجزء العشري، وE5M2 بخمس بتات للأس واثنتين للجزء العشري. وهي تخفض الذاكرة إلى النصف مقارنةً بصيغ 16 بت، وتعمل أصليًا على وحدات GPU الحديثة.

يُسمّى أيضًا: FP8، فاصلة عائمة 8 بت، تكميم FP8، الدقة 8 بت، 8-bit floating point، E4M3، E5M2، FP8 quantization، W8A8 FP8

FP8 هي صيغة الأعداد من 8 بت التي تتعامل معها معظم وحدات GPU الجديدة أصليًا. وكثيرًا ما تكون الخطوة الأولى نزولًا من 16 بت عند تشغيل نموذج كبير.

كيف يعمل

للعدد ذي الفاصلة العائمة إشارة وأس وجزء عشري (mantissa). وتعرّف ورقة FP8 التي كتبها Micikevicius وآخرون تخطيطين، لكل منهما بت إشارة واحد:

الترميز بتات الأس بتات الجزء العشري الموازنة
E4M3 4 3 دقة أكبر؛ تذكر vLLM حدًا أقصى قدره ±448
E5M2 5 2 دقة أقل؛ تذكر vLLM حدًا أقصى قدره ±57,344

يتبع E5M2 قواعد IEEE 754 للقيم الخاصة. أما E4M3 فيتخلى عن قيم اللانهاية ويحتفظ بنمط NaN واحد ليوسّع نطاقه. ولكليهما 256 قيمة ممكنة فقط، لذا يربط معامل قياس كل موتّر (tensor) بالنطاق الذي تغطيه الصيغة.

وبوصفه هدفًا للتكميم، يُطبَّق FP8 عادةً بصيغة W8A8: الأوزان والتفعيلات كلاهما بثماني بتات، مع معامل قياس لكل موتّر أو لكل كتلة. وتذكر الورقة أن FP8 طابق جودة التدريب بدقة 16 بت على نماذج حتى 175B معامل. وتشير أيضًا إلى أن التكميم بعد التدريب بصيغة FP8 نجح على نماذج لغوية “that resisted fixed point int8 quantization” (ترجمة: قاومت تكميم int8 ذا الفاصلة الثابتة)، لأن الأس يتعامل أفضل مع القيم الشاذة.

ويظهر FP8 أيضًا داخل صيغ أخرى. فبطاقة DeepSeek لنموذج DeepSeek V4.1 Flash تخزّن ذاكرة KV المؤقتة الرئيسية بأعداد عائمة من 4 بت مع “one E4M3 scale per 16 channels” (ترجمة: مقياس E4M3 واحد لكل 16 قناة).

لماذا يهم

تنص وثائق vLLM على أن FP8 يعطي “a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy.” (ترجمة: خفضًا بمقدار الضعف في متطلبات ذاكرة النموذج وتحسنًا في الإنتاجية حتى 1.6 ضعف مع أثر ضئيل على الدقة.) وبالنسبة إلى المزوّد، يعني ذلك أن النموذج يتسع في عدد أقل من وحدات GPU، أو أن الوحدات نفسها تستوعب طلبات أكثر في آنٍ واحد، فترتفع الإنتاجية وتنخفض التكلفة لكل رمز.

وبالنسبة إلى مستخدم الواجهة، يمثل FP8 الطرف المعتدل من التكميم: تذكر vLLM أثرًا ضئيلًا على الدقة، لكن عليك مع ذلك اختبار المهام التي تعتمد عليها. وهو خطوة أقل حدة من INT4، الذي يوفّر ذاكرة أكثر لكنه يحمل خطرًا أكبر في المهام الصعبة.

في BroadNet Inference

يذكر كتالوج النماذج لدى BroadNet أن إصدار Gemma 4 26B A4B الإنتاجي يخزّن ذاكرة KV المؤقتة بصيغة FP8، مع أوزان INT4 AWQ. هذا وصف BroadNet نفسها؛ ولا تذكر وثائق الواجهة دقة النماذج الأخرى. وإذا كانت صيغة الأعداد بالضبط مهمة لتدقيق أو لسير عمل خاضع للتنظيم، فاسأل BroadNet مباشرةً. ولما يؤثر فعلًا في فاتورتك، راجع الأسعار لكل رمز في صفحة الأسعار.

أسئلة شائعة

هل FP8 هو نفسه INT8؟

لا. كلاهما يستخدم 8 بتات، لكن FP8 يخصص بعض البتات للأس، فيغطي نطاقًا أوسع من المقادير بدقة أقل بينها. أما INT8 فيوزّع مستوياته الـ 256 بالتساوي ويعتمد أكثر على معاملات قياس جيدة.

أي وحدات GPU تدعم FP8؟

تذكر وثائق vLLM حوسبة FP8 على وحدات NVIDIA GPU ذات قدرة حوسبة 8.9 أو أعلى (Ada Lovelace وHopper وBlackwell) وعلى AMD MI300x. أما بطاقات Turing وAmpere الأقدم فتستطيع تحميل أوزان FP8 لكنها تحسب بدقة 16 بت.

ما الفرق بين FP8 وINT4؟

يستخدم FP8 ثماني بتات مع أس، ويُطبَّق عادةً على الأوزان والتفعيلات. أما INT4 فيستخدم 16 مستوى صحيحًا متساوي التباعد، ويُطبَّق عادةً على الأوزان فقط. INT4 يوفّر ذاكرة أكثر؛ وFP8 أقل خطرًا على الدقة.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity