في INT4 يصبح التكميم جريئًا: لا يملك كل وزن إلا 16 قيمة ممكنة.
كيف يعمل
يصف دليل الدقة في TensorRT-LLM الشكل الشائع، W4A16: تُكمَّم الأوزان إلى 4 بتات ويُفك تكميمها “on-the-fly” (أثناء التنفيذ) داخل ضرب المصفوفات، بينما تبقى التفعيلات بصيغة FP16 أو BF16. ويدعم TensorRT-LLM معاملات مقياس لكل مجموعة: تحصل كل مجموعة صغيرة من الأوزان على مقياسها الخاص حتى تغطي المستويات الستة عشر النطاق الصحيح. ويحفظ مثال INT4 في vLLM نقطة حفظ W4A16-G128، أي مجموعة لكل 128 وزنًا.
التقريب البسيط إلى 16 مستوى يُفقد الكثير، لذا تتعامل الطرق الشائعة مع الأمر بذكاء أكبر:
- GPTQ تستخدم معلومات تقريبية من الرتبة الثانية لاختيار تقريبات تحدّ من خطأ المخرجات. وتفيد الورقة بـ 3 أو 4 بتات لكل وزن مع خسارة لا تُذكر، بما يكفي لتشغيل نموذج من 175 مليار معامل على وحدة GPU واحدة.
- AWQ تلاحظ أن “not all weights in an LLM are equally important” (ترجمة: ليست كل الأوزان في نموذج LLM بالأهمية نفسها). فحماية نحو 1% من القنوات البارزة، التي تُحدَّد من إحصاءات التفعيلات، تقلل الخطأ كثيرًا. ويفيد محرّك TinyChat الخاص بها بتسريع يتجاوز 3 أضعاف لنماذج الـ 4 بتات على الأجهزة.
لماذا يهم
التوفير في الذاكرة كبير. فبنصف بايت لكل وزن، تشغل أوزان النموذج ربع حجمها بـ 16 بتًا. لنموذج من 25.2 مليار معامل: 25.2B × 2 بايت = 50.4 GB بصيغة BF16، مقابل 25.2B × 0.5 بايت = 12.6 GB بصيغة INT4، مع قليل إضافي لمعاملات المقياس. وكثيرًا ما تكون سرعة التوليد محدودة بسرعة تدفق الأوزان من الذاكرة، لذا قد تخفّض أوزان الـ 4 بتات زمن الاستجابة أيضًا. ويقول توثيق vLLM إن INT4 W4A16 أنفع ما يكون لإبقاء زمن الاستجابة منخفضًا “in workloads with low queries per second” (ترجمة: في أحمال العمل ذات الاستعلامات القليلة في الثانية). وتحت الحمل العالي، تزداد أهمية تكلفة فك تكميم الأوزان ويتقلص المكسب.
ومع 16 مستوى فقط، يكون خطأ التقريب أكبر منه في FP8، ولهذا السبب أصلًا وُجدت GPTQ وAWQ. وقد يُخفي متوسط درجة في اختبار معياري خسائر في المهام التي تهمك، كالاستدلال الطويل أو الحساب الدقيق أو البرمجة أو لغة أقل شيوعًا. فإن كان أداء نسخة INT4 أسوأ من نسخة الـ 16 بتًا على مجموعة اختبارك أنت، فصدّق اختبارك.
ونماذج مزيج الخبراء مرشحة متكررة لصيغة INT4، لأن جميع الخبراء يجب أن يتسعوا في الذاكرة مع أن قلة منهم فقط تعمل لكل رمز.
في BroadNet Inference
يقول كتالوج نماذج BroadNet إن نسخة الإنتاج من Gemma 4 26B A4B (معرّف API هو broadnet/gemma-4-26b-a4b) تستخدم أوزان AWQ بـ 4 بتات، مع التنبؤ متعدد الرموز وذاكرة KV مؤقتة بدقة FP8. هذا وصف BroadNet نفسها؛ ولا يذكر توثيق الواجهة دقة النماذج الأخرى. وإن كنت تختار بين استضافة نموذج بـ 4 بتات بنفسك واستدعاء واجهة API، فإن مقارنة تكلفة الاستضافة الذاتية وحاسبة تكلفة واجهات LLM تساعدانك على مقارنة الإجمالي.