BroadRouter

AWQ (التكميم الواعي بالتفعيلات)

آخر تحديث

AWQ (التكميم الواعي بالتفعيلات) طريقة تُطبَّق بعد التدريب لضغط أوزان نموذج اللغة إلى دقة منخفضة، غالبًا أعداد صحيحة بـ 4 بتات. وتستخدم إحصاءات التفعيلات من مجموعة معايرة صغيرة لتحديد أهم قنوات الأوزان، ثم تكبّرها كي تفقد دقة أقل. ولا تحتاج إلى الانتشار العكسي.

يُسمّى أيضًا: AWQ، تكميم AWQ، التكميم الواعي بالتفعيلات، تكميم الأوزان الواعي بالتفعيلات، activation-aware weight quantization، AWQ quantization

حجم النموذج بـ 4 بتات نحو ربع حجم أصله بـ 16 بتًا. وAWQ من أكثر الطرق استخدامًا للوصول إلى ذلك دون خسارة كبيرة في الجودة.

كيف يعمل

التكميم البسيط يقرّب كل وزن إلى مجموعة صغيرة من القيم. لكن بعض الأوزان أهم من غيرها، وتقريبها هو الأكثر ضررًا. والنتيجة الأساسية في ورقة AWQ أن “Protecting only 1% salient weights can greatly reduce quantization error” (ترجمة: حماية 1% فقط من الأوزان البارزة يمكن أن تقلّل خطأ التكميم كثيرًا)، وأن العثور على هذه الأوزان يقتضي أننا “we should refer to the activation distribution, not weights.” (ترجمة: يجب أن نرجع إلى توزيع التفعيلات، لا إلى الأوزان).

الخطوات باختصار:

  1. مرّر مجموعة معايرة صغيرة عبر النموذج بدقته الكاملة، وسجّل أحجام التفعيلات لكل قناة.
  2. كبّر قنوات الأوزان البارزة بما تسمّيه الورقة “an equivalent transformation” (ترجمة: تحويلًا مكافئًا)، فيكلّفها التقريب أقل بينما يبقى خرج الطبقة كما هو. وهذا يتجنّب “hardware-inefficient mix-precision quantization” (ترجمة: التكميم مختلط الدقة غير الفعّال على العتاد).
  3. قرّب كل الأوزان إلى دقة منخفضة، عادةً أعداد صحيحة بـ 4 بتات مع معامل قياس لكل مجموعة من الأوزان.

وتؤكد الورقة أن “AWQ does not rely on any backpropagation or reconstruction” (ترجمة: لا يعتمد AWQ على أي انتشار عكسي أو إعادة بناء)، ولذلك فهو “generalizes to different domains and modalities” (ترجمة: يُعمَّم على مجالات وأنماط بيانات مختلفة) دون أن يفرط في التكيّف مع مجموعة المعايرة. وقد نالت الورقة جائزة أفضل ورقة في MLSys 2024.

في vLLM، تُحمَّل نقطة حفظ AWQ مكمّمة مسبقًا بوسيط واحد:

from vllm import LLM
llm = LLM(model="TheBloke/Llama-2-7b-Chat-AWQ", quantization="auto_awq")

وتصف صفحة vLLM هذه الصيغة بأنها تخفض الأوزان “from BF16/FP16 to INT4” (ترجمة: من BF16/FP16 إلى INT4)، وتحذّر من أن “The AutoAWQ library is deprecated” (ترجمة: مكتبة AutoAWQ متوقفة عن التطوير)؛ وتُنشأ نماذج AWQ الجديدة بأداة llm-compressor من vLLM.

لماذا يهم

  • الذاكرة والتكلفة. الأوزان الأصغر تتسع على عدد أقل من وحدات GPU أو على وحدات أرخص، وتترك ذاكرة أكبر لـ ذاكرة KV المؤقتة، أي طلبات أكثر في الوقت نفسه.
  • السرعة. مرحلة فك الترميز تقرأ كل الأوزان لكل رمز، فقد تعني الأوزان الأصغر مخرجات أسرع. وتفيد الورقة بأن بيئة التشغيل TinyChat الخاصة بها تحقق “more than 3x speedup over the Huggingface FP16 implementation” (ترجمة: تسريعًا يزيد على 3 أضعاف مقارنةً بتطبيق FP16 في Huggingface).
  • الأوزان نفسها، ونتائج مختلفة. قد يستخدم مزوّدان يقدّمان «النموذج نفسه» تكميمًا مختلفًا. اسأل المزوّد عن الصيغة التي يقدّمها حين تقارن الجودة.

AWQ يكمّم الأوزان فقط. وهو يختلف عن FP8 الذي يمكنه تكميم التفعيلات أيضًا، وعن GGUF، وهي صيغة ملفات لها أنواع تكميم خاصة بـ llama.cpp.

في BroadNet Inference

تُبلغ BroadNet أنها تقدّم Gemma 4 VL 26B بأوزان AWQ بـ 4 بتات كمّمتها بنفسها، مع فك ترميز تخميني بالتنبؤ متعدد الرموز (k=2) وذاكرة KV مؤقتة بصيغة fp8. وبحسب صفحة النموذج، اختبرت NVFP4 ثم استبعدتها بعد مقارنة مباشرة. وتُبلغ BroadNet أيضًا أن أوزان Gemma 4 نفسها، حين قدّمها مزوّد مستضاف، سجّلت في المتوسط 0.13 أقل من تشغيلها هي (ولا تذكر BroadNet على أي مقياس أو سلّم)؛ والتفاصيل في مقال أسطول GPU والتشغيل. ولا تنشر BroadNet صيغة التكميم لبقية نماذج الواجهة. وإن كنت تخطط لتشغيل أوزان AWQ بنفسك، فإن دليل تكلفة الاستضافة الذاتية مقابل API يشرح الحساب.

أسئلة شائعة

هل AWQ هو نفسه INT4؟

AWQ طريقة، وINT4 صيغة أرقام. وينتج AWQ عادةً أوزانًا بأعداد صحيحة من 4 بتات، فنموذج AWQ نوع من نماذج INT4. وطرق أخرى، مثل GPTQ أو أنواع تكميم GGUF، تنتج أوزانًا بـ 4 بتات أيضًا.

هل يخفض AWQ الجودة؟

أي تكميم بعدد بتات منخفض قد يفعل ذلك. تفيد ورقة AWQ بأن حماية نحو 1% من الأوزان البارزة تقلّل خطأ التكميم كثيرًا، لكن عليك اختبار النموذج المكمّم على أوامرك أنت.

هل أستطيع تشغيل نماذج AWQ في vLLM؟

نعم. تشرح وثائق vLLM تحميل نقطة حفظ AWQ مكمّمة مسبقًا. وتذكر أيضًا أن مكتبة AutoAWQ متوقفة عن التطوير، وتحيل إلى مشروع llm-compressor من vLLM لإنشاء نماذج AWQ جديدة.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity