تأتي معظم النماذج المفتوحة بأوزان من 16 بتًا. والتكميم يصغّر هذه الأرقام حتى يتسع النموذج على عدد أقل من وحدات GPU.
كيف يعمل
تصف Hugging Face التكميم بأنه “representing weights and activations with lower-precision data types like 8-bit integers (int8)” (ترجمة: تمثيل الأوزان والتفعيلات بأنواع بيانات أقل دقة مثل الأعداد الصحيحة من 8 بتات). تحصل كل كتلة من الأوزان على معامل مقياس (scale)، وتُقرَّب الأوزان إلى مجموعة صغيرة من المستويات، ثم تُضرب في المقياس من جديد وقت التشغيل.
تتناسب ذاكرة الأوزان مع عدد البتات لكل معامل. خذ مثلًا نموذج Gemma 4 26B A4B من Google، وفيه 25.2 مليار معامل:
| الدقة | البايتات لكل وزن | الأوزان وحدها |
|---|---|---|
| 16 بتًا (BF16) | 2 | 25.2B × 2 = 50.4 GB |
| 8 بتات (FP8 أو INT8) | 1 | 25.2 GB |
| 4 بتات (INT4) | 0.5 | 12.6 GB |
وتحتاج ذاكرة KV المؤقتة والتفعيلات إلى مساحة فوق ذلك.
تختلف الطرق في ما تكمّمه وفي كيفية اختيار المستويات:
- LLM.int8() تقلّص ذاكرة الاستدلال إلى النصف وتُبقي عددًا قليلًا من الخصائص الشاذة (outliers) بدقة 16 بتًا؛ وتقول الورقة إن أكثر من 99.9% من القيم لا تزال تستخدم حسابات 8 بتات.
- GPTQ طريقة لتكميم الأوزان دفعة واحدة تصل إلى 3 أو 4 بتات لكل وزن مع “negligible accuracy degradation” (ترجمة: تراجع في الدقة لا يُذكر)، وتكمّم نموذجًا من 175 مليار معامل في نحو أربع ساعات GPU.
- تكميم الأوزان وحدها مقابل الأوزان والتفعيلات. صيغ الأوزان وحدها توفّر الذاكرة. أما تكميم التفعيلات أيضًا فقد يسرّع عمليات المصفوفات على العتاد الذي يدعم ذلك.
لماذا يهم
لمن يستدعي واجهة API، لا يظهر التكميم في الطلب، لكنه يظهر في ثلاثة مواضع. السعر: النماذج الأصغر تحتاج إلى وحدات GPU أقل، فتنخفض تكلفة التقديم. السرعة: كثيرًا ما يكون التوليد محدودًا بعرض نطاق الذاكرة، فقد تعني بايتات أقل لكل وزن رموزًا أكثر في الثانية. الجودة: بتات أقل تعني خطأ تقريب أكبر، وقد يحافظ النموذج على متوسط درجاته بينما يتراجع في المهام المحددة التي تعتمد عليها.
إن قارنت بين مزوّدَين يقدّمان النموذج المفتوح “نفسه” وحصلت على نتائج مختلفة، فالدقة أحد الأسباب المرجّحة.
في BroadNet Inference
لا يذكر المرجع التقني لـ BroadNet دقة التقديم. ويُدرج كتالوج نماذجها نسخة الإنتاج من Gemma 4 26B A4B، المقدَّمة باسم BroadNet Gemma 4 VL 26B، بأوزان AWQ من 4 بتات مع ذاكرة KV مؤقتة بدقة FP8. ولا يذكر دقة الواجهة للنماذج الأخرى. فإن كانت الدقة مهمة لاستخدامك، فشغّل مجموعة التقييم نفسها على كل مزوّد؛ وتشرح قائمة التحقق لتقييم نموذج قبل الانتقال إليه كيف تفعل ذلك.