BroadRouter
ابدأ الآن

INT4

آخر تحديث

INT4 صيغة أعداد صحيحة من 4 بتات تمثّل 16 مستوى. وفي استدلال نماذج LLM تعني غالبًا تكميم الأوزان وحدها بـ 4 بتات (W4A16): تُخزَّن الأوزان بصيغة INT4 مع معاملات مقياس وتُوسَّع إلى 16 بتًا أثناء الحساب، فتستهلك نحو ربع ذاكرة أوزان الـ 16 بتًا.

يُسمّى أيضًا: INT4، تكميم 4 بت، تكميم 4 بتات، أعداد صحيحة 4 بت، نموذج 4 بت، 4-bit quantization، W4A16، 4-bit integer، INT4 weight-only، 4-bit LLM

في INT4 يصبح التكميم جريئًا: لا يملك كل وزن إلا 16 قيمة ممكنة.

كيف يعمل

يصف دليل الدقة في TensorRT-LLM الشكل الشائع، W4A16: تُكمَّم الأوزان إلى 4 بتات ويُفك تكميمها “on-the-fly” (أثناء التنفيذ) داخل ضرب المصفوفات، بينما تبقى التفعيلات بصيغة FP16 أو BF16. ويدعم TensorRT-LLM معاملات مقياس لكل مجموعة: تحصل كل مجموعة صغيرة من الأوزان على مقياسها الخاص حتى تغطي المستويات الستة عشر النطاق الصحيح. ويحفظ مثال INT4 في vLLM نقطة حفظ W4A16-G128، أي مجموعة لكل 128 وزنًا.

التقريب البسيط إلى 16 مستوى يُفقد الكثير، لذا تتعامل الطرق الشائعة مع الأمر بذكاء أكبر:

  • GPTQ تستخدم معلومات تقريبية من الرتبة الثانية لاختيار تقريبات تحدّ من خطأ المخرجات. وتفيد الورقة بـ 3 أو 4 بتات لكل وزن مع خسارة لا تُذكر، بما يكفي لتشغيل نموذج من 175 مليار معامل على وحدة GPU واحدة.
  • AWQ تلاحظ أن “not all weights in an LLM are equally important” (ترجمة: ليست كل الأوزان في نموذج LLM بالأهمية نفسها). فحماية نحو 1% من القنوات البارزة، التي تُحدَّد من إحصاءات التفعيلات، تقلل الخطأ كثيرًا. ويفيد محرّك TinyChat الخاص بها بتسريع يتجاوز 3 أضعاف لنماذج الـ 4 بتات على الأجهزة.

لماذا يهم

التوفير في الذاكرة كبير. فبنصف بايت لكل وزن، تشغل أوزان النموذج ربع حجمها بـ 16 بتًا. لنموذج من 25.2 مليار معامل: 25.2B × 2 بايت = 50.4 GB بصيغة BF16، مقابل 25.2B × 0.5 بايت = 12.6 GB بصيغة INT4، مع قليل إضافي لمعاملات المقياس. وكثيرًا ما تكون سرعة التوليد محدودة بسرعة تدفق الأوزان من الذاكرة، لذا قد تخفّض أوزان الـ 4 بتات زمن الاستجابة أيضًا. ويقول توثيق vLLM إن INT4 W4A16 أنفع ما يكون لإبقاء زمن الاستجابة منخفضًا “in workloads with low queries per second” (ترجمة: في أحمال العمل ذات الاستعلامات القليلة في الثانية). وتحت الحمل العالي، تزداد أهمية تكلفة فك تكميم الأوزان ويتقلص المكسب.

ومع 16 مستوى فقط، يكون خطأ التقريب أكبر منه في FP8، ولهذا السبب أصلًا وُجدت GPTQ وAWQ. وقد يُخفي متوسط درجة في اختبار معياري خسائر في المهام التي تهمك، كالاستدلال الطويل أو الحساب الدقيق أو البرمجة أو لغة أقل شيوعًا. فإن كان أداء نسخة INT4 أسوأ من نسخة الـ 16 بتًا على مجموعة اختبارك أنت، فصدّق اختبارك.

ونماذج مزيج الخبراء مرشحة متكررة لصيغة INT4، لأن جميع الخبراء يجب أن يتسعوا في الذاكرة مع أن قلة منهم فقط تعمل لكل رمز.

في BroadNet Inference

يقول كتالوج نماذج BroadNet إن نسخة الإنتاج من Gemma 4 26B A4B (معرّف API هو broadnet/gemma-4-26b-a4b) تستخدم أوزان AWQ بـ 4 بتات، مع التنبؤ متعدد الرموز وذاكرة KV مؤقتة بدقة FP8. هذا وصف BroadNet نفسها؛ ولا يذكر توثيق الواجهة دقة النماذج الأخرى. وإن كنت تختار بين استضافة نموذج بـ 4 بتات بنفسك واستدعاء واجهة API، فإن مقارنة تكلفة الاستضافة الذاتية وحاسبة تكلفة واجهات LLM تساعدانك على مقارنة الإجمالي.

أسئلة شائعة

كم يوفّر INT4 من الذاكرة؟

يأخذ كل وزن نصف بايت بدل بايتين، أي نحو ربع حجم الـ 16 بتًا، مع زيادة صغيرة لمعاملات المقياس. فنموذج من 25.2 مليار معامل ينخفض من نحو 50.4 GB إلى نحو 12.6 GB من الأوزان.

هل INT4 هو نفسه NF4 أو FP4؟

لا. الثلاثة تستخدم 4 بتات، لكن NF4 وFP4 توزّعان مستوياتهما الستة عشر توزيعًا غير متساوٍ، أما INT4 فيباعد بينها بالتساوي. ويوفّر تكامل bitsandbytes في Hugging Face صيغتَي FP4 وNF4؛ أما نقاط حفظ GPTQ وAWQ فتستخدم INT4 عادةً.

هل يجعل INT4 النموذج أسرع؟

غالبًا تحت الحمل المنخفض، لأن التوليد محدود بقراءة الأوزان من الذاكرة، وأوزان الـ 4 بتات أصغر. ويقول توثيق vLLM إن INT4 W4A16 يفيد أكثر في أحمال العمل ذات الاستعلامات القليلة في الثانية؛ أما تحت الحمل الثقيل فيتقلص المكسب.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity