FP8 هي صيغة الأعداد من 8 بت التي تتعامل معها معظم وحدات GPU الجديدة أصليًا. وكثيرًا ما تكون الخطوة الأولى نزولًا من 16 بت عند تشغيل نموذج كبير.
كيف يعمل
للعدد ذي الفاصلة العائمة إشارة وأس وجزء عشري (mantissa). وتعرّف ورقة FP8 التي كتبها Micikevicius وآخرون تخطيطين، لكل منهما بت إشارة واحد:
| الترميز | بتات الأس | بتات الجزء العشري | الموازنة |
|---|---|---|---|
| E4M3 | 4 | 3 | دقة أكبر؛ تذكر vLLM حدًا أقصى قدره ±448 |
| E5M2 | 5 | 2 | دقة أقل؛ تذكر vLLM حدًا أقصى قدره ±57,344 |
يتبع E5M2 قواعد IEEE 754 للقيم الخاصة. أما E4M3 فيتخلى عن قيم اللانهاية ويحتفظ بنمط NaN واحد ليوسّع نطاقه. ولكليهما 256 قيمة ممكنة فقط، لذا يربط معامل قياس كل موتّر (tensor) بالنطاق الذي تغطيه الصيغة.
وبوصفه هدفًا للتكميم، يُطبَّق FP8 عادةً بصيغة W8A8: الأوزان والتفعيلات كلاهما بثماني بتات، مع معامل قياس لكل موتّر أو لكل كتلة. وتذكر الورقة أن FP8 طابق جودة التدريب بدقة 16 بت على نماذج حتى 175B معامل. وتشير أيضًا إلى أن التكميم بعد التدريب بصيغة FP8 نجح على نماذج لغوية “that resisted fixed point int8 quantization” (ترجمة: قاومت تكميم int8 ذا الفاصلة الثابتة)، لأن الأس يتعامل أفضل مع القيم الشاذة.
ويظهر FP8 أيضًا داخل صيغ أخرى. فبطاقة DeepSeek لنموذج DeepSeek V4.1 Flash تخزّن ذاكرة KV المؤقتة الرئيسية بأعداد عائمة من 4 بت مع “one E4M3 scale per 16 channels” (ترجمة: مقياس E4M3 واحد لكل 16 قناة).
لماذا يهم
تنص وثائق vLLM على أن FP8 يعطي “a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy.” (ترجمة: خفضًا بمقدار الضعف في متطلبات ذاكرة النموذج وتحسنًا في الإنتاجية حتى 1.6 ضعف مع أثر ضئيل على الدقة.) وبالنسبة إلى المزوّد، يعني ذلك أن النموذج يتسع في عدد أقل من وحدات GPU، أو أن الوحدات نفسها تستوعب طلبات أكثر في آنٍ واحد، فترتفع الإنتاجية وتنخفض التكلفة لكل رمز.
وبالنسبة إلى مستخدم الواجهة، يمثل FP8 الطرف المعتدل من التكميم: تذكر vLLM أثرًا ضئيلًا على الدقة، لكن عليك مع ذلك اختبار المهام التي تعتمد عليها. وهو خطوة أقل حدة من INT4، الذي يوفّر ذاكرة أكثر لكنه يحمل خطرًا أكبر في المهام الصعبة.
في BroadNet Inference
يذكر كتالوج النماذج لدى BroadNet أن إصدار Gemma 4 26B A4B الإنتاجي يخزّن ذاكرة KV المؤقتة بصيغة FP8، مع أوزان INT4 AWQ. هذا وصف BroadNet نفسها؛ ولا تذكر وثائق الواجهة دقة النماذج الأخرى. وإذا كانت صيغة الأعداد بالضبط مهمة لتدقيق أو لسير عمل خاضع للتنظيم، فاسأل BroadNet مباشرةً. ولما يؤثر فعلًا في فاتورتك، راجع الأسعار لكل رمز في صفحة الأسعار.