BroadRouter
ابدأ الآن

التكميم (Quantization)

آخر تحديث

التكميم (quantization) هو تخزين أرقام الشبكة العصبية، وأوزانها أساسًا، بصيغة أقل دقة مثل 8 بتات أو 4 بتات بدل 16 بتًا، فيستهلك النموذج ذاكرة أقل ويعمل غالبًا أسرع. والطرق الجيدة تُبقي فقدان الدقة صغيرًا.

يُسمّى أيضًا: التكميم، تكميم النماذج، تكميم LLM، نموذج مكمّم، تكميم الأوزان، quantization، quantisation، model quantization، LLM quantization، quantized model، weight quantization

تأتي معظم النماذج المفتوحة بأوزان من 16 بتًا. والتكميم يصغّر هذه الأرقام حتى يتسع النموذج على عدد أقل من وحدات GPU.

كيف يعمل

تصف Hugging Face التكميم بأنه “representing weights and activations with lower-precision data types like 8-bit integers (int8)” (ترجمة: تمثيل الأوزان والتفعيلات بأنواع بيانات أقل دقة مثل الأعداد الصحيحة من 8 بتات). تحصل كل كتلة من الأوزان على معامل مقياس (scale)، وتُقرَّب الأوزان إلى مجموعة صغيرة من المستويات، ثم تُضرب في المقياس من جديد وقت التشغيل.

تتناسب ذاكرة الأوزان مع عدد البتات لكل معامل. خذ مثلًا نموذج Gemma 4 26B A4B من Google، وفيه 25.2 مليار معامل:

الدقة البايتات لكل وزن الأوزان وحدها
16 بتًا (BF16) 2 25.2B × 2 = 50.4 GB
8 بتات (FP8 أو INT8) 1 25.2 GB
4 بتات (INT4) 0.5 12.6 GB

وتحتاج ذاكرة KV المؤقتة والتفعيلات إلى مساحة فوق ذلك.

تختلف الطرق في ما تكمّمه وفي كيفية اختيار المستويات:

  • LLM.int8() تقلّص ذاكرة الاستدلال إلى النصف وتُبقي عددًا قليلًا من الخصائص الشاذة (outliers) بدقة 16 بتًا؛ وتقول الورقة إن أكثر من 99.9% من القيم لا تزال تستخدم حسابات 8 بتات.
  • GPTQ طريقة لتكميم الأوزان دفعة واحدة تصل إلى 3 أو 4 بتات لكل وزن مع “negligible accuracy degradation” (ترجمة: تراجع في الدقة لا يُذكر)، وتكمّم نموذجًا من 175 مليار معامل في نحو أربع ساعات GPU.
  • تكميم الأوزان وحدها مقابل الأوزان والتفعيلات. صيغ الأوزان وحدها توفّر الذاكرة. أما تكميم التفعيلات أيضًا فقد يسرّع عمليات المصفوفات على العتاد الذي يدعم ذلك.

لماذا يهم

لمن يستدعي واجهة API، لا يظهر التكميم في الطلب، لكنه يظهر في ثلاثة مواضع. السعر: النماذج الأصغر تحتاج إلى وحدات GPU أقل، فتنخفض تكلفة التقديم. السرعة: كثيرًا ما يكون التوليد محدودًا بعرض نطاق الذاكرة، فقد تعني بايتات أقل لكل وزن رموزًا أكثر في الثانية. الجودة: بتات أقل تعني خطأ تقريب أكبر، وقد يحافظ النموذج على متوسط درجاته بينما يتراجع في المهام المحددة التي تعتمد عليها.

إن قارنت بين مزوّدَين يقدّمان النموذج المفتوح “نفسه” وحصلت على نتائج مختلفة، فالدقة أحد الأسباب المرجّحة.

في BroadNet Inference

لا يذكر المرجع التقني لـ BroadNet دقة التقديم. ويُدرج كتالوج نماذجها نسخة الإنتاج من Gemma 4 26B A4B، المقدَّمة باسم BroadNet Gemma 4 VL 26B، بأوزان AWQ من 4 بتات مع ذاكرة KV مؤقتة بدقة FP8. ولا يذكر دقة الواجهة للنماذج الأخرى. فإن كانت الدقة مهمة لاستخدامك، فشغّل مجموعة التقييم نفسها على كل مزوّد؛ وتشرح قائمة التحقق لتقييم نموذج قبل الانتقال إليه كيف تفعل ذلك.

أسئلة شائعة

هل يجعل التكميم النموذج أسوأ؟

أحيانًا قليلًا. تفيد ورقة LLM.int8() بعدم وجود تراجع في الاستدلال بـ 8 بتات حتى 175 مليار معامل، وتفيد GPTQ بخسارة لا تُذكر عند 3 أو 4 بتات لكل وزن. وكلما قلّت البتات وصعبت المهام زاد الخطر، فاختبر على أوامرك أنت.

هل أستطيع معرفة ما إذا كانت واجهة API تقدّم نموذجًا مكمّمًا؟

غالبًا فقط إن صرّح المزوّد بذلك. فالواجهة تُرجع بنية الاستجابة نفسها في الحالتين، لذا قارن المخرجات في اختباراتك، واسأل المزوّد عن الدقة التي يستخدمها.

كم يوفّر التكميم من الذاكرة؟

تتناسب ذاكرة الأوزان مع عدد البتات لكل وزن. فنموذج من 25.2 مليار معامل يحتاج إلى نحو 50.4 GB بدقة 16 بتًا، و25.2 GB بدقة 8 بتات، و12.6 GB بدقة 4 بتات، قبل احتساب ذاكرة KV المؤقتة والتفعيلات.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity