BroadRouter
ابدأ الآن

LoRA (التكيّف منخفض الرتبة)

آخر تحديث

LoRA (التكيّف منخفض الرتبة، low-rank adaptation) طريقة ضبط دقيق موفّرة للمعاملات، تجمّد أوزان النموذج المدرَّب مسبقًا وتدرّب زوجًا من المصفوفات الصغيرة منخفضة الرتبة لطبقات مختارة. ويمكن حفظ التحديث المتعلَّم محوّلًا (adapter) صغيرًا أو دمجه في الأوزان، دون إضافة زمن إلى الاستدلال.

يُسمّى أيضًا: LoRA، التكيف منخفض الرتبة، محوّل LoRA، الضبط الدقيق بـ LoRA، low-rank adaptation، LoRA adapter، LoRA fine-tuning

جعل LoRA الضبط الدقيق للنماذج الكبيرة عمليًا على عتاد عادي، بتدريب تصحيح صغير بدل النموذج كله.

كيف يعمل

لاحظ Hu وزملاؤه أن التغيير الذي يُحدثه الضبط الدقيق في مصفوفة الأوزان يميل إلى أن يكون منخفض الرتبة. لذا يُبقي LoRA المصفوفة الأصلية W₀ مجمّدة ويتعلم التغيير على شكل حاصل ضرب مصفوفتين رفيعتين:

W = W₀ + BA، حيث B بأبعاد d × r، وA بأبعاد r × k، وr أصغر بكثير من d أو k.

تبدأ B بالصفر، فيبدأ التدريب من النموذج دون تغيير. وطبّقت الورقة LoRA في الغالب على إسقاطات query وvalue في طبقات الانتباه.

حساب التوفير في المعاملات سهل. لمصفوفة واحدة بأبعاد 4,096 × 4,096:

المعاملات
التحديث الكامل 4,096 × 4,096 = 16,777,216
LoRA، r = 8 8 × (4,096 + 4,096) = 65,536

أي نحو 0.4% من العدد الكامل. وعلى GPT-3 175B تفيد الورقة بمعاملات قابلة للتدريب أقل بـ 10,000 مرة، وخفض ذاكرة GPU بمقدار 3 أضعاف، وتقلّص نقاط الحفظ من نحو 350 GB إلى نحو 35 MB.

لماذا يهم

  • تدريب أرخص. أوزان قابلة للتدريب أقل تعني ذاكرة أقل لحالة المُحسِّن (optimiser). ومع تكميم النموذج الأساسي المجمّد، تتسع نماذج أكبر على وحدات GPU أصغر.
  • لا زمن إضافي. يشير دليل PEFT في Hugging Face إلى إمكان دمج المحوّلات باستخدام merge_and_unload()، فتكون تكلفة التقديم مثل النموذج الأساسي.
  • مهام كثيرة، نموذج أساسي واحد. لأن النموذج الأساسي يبقى مجمّدًا، تستطيع الاحتفاظ بنسخة واحدة من نموذج مفتوح الأوزان وتبديل محوّلات صغيرة لكل عميل أو مهمة.
  • الحدود. يغيّر LoRA السلوك والأسلوب جيدًا. لكنه يبقى ضبطًا دقيقًا، فيحتاج إلى بيانات جيدة وإلى تقييم.

في BroadNet Inference

لا يوثّق المرجع التقني لـ BroadNet تقنية LoRA ولا رفع المحوّلات ولا اختيار محوّل لكل طلب. فأنت تستدعي معرّفات نماذج ثابتة مثل broadnet/qwen3.8-27b. وتُتاح نقاط النهاية الخاصة ونسخ BroadNet العربية المضبوطة ضبطًا دقيقًا عند الطلب، لكن التوثيق لا يذكر كيف دُرّبت. وإن كنت تخطط لتدريب محوّلات بنفسك، فقارن ذلك بأسعار الواجهة عبر مقالة الاستضافة الذاتية مقابل واجهة API، وإن شغّلت الاثنين، فإن موجّهًا مثل LiteLLM يستطيع إرسال الحركة إلى أيٍّ منهما.

أسئلة شائعة

ماذا تعني الرتبة r في LoRA؟

هي الحجم الداخلي للمصفوفتين الصغيرتين. والرتبة الأقل تعني معاملات قابلة للتدريب أقل ومحوّلًا أصغر. وتفيد ورقة LoRA بأن رتبًا منخفضة حتى 1 أو 2 عملت جيدًا على GPT-3 175B.

هل LoRA جيد بقدر الضبط الدقيق الكامل؟

تفيد ورقة LoRA بجودة "on-par or better than fine-tuning" (ترجمة: مماثلة للضبط الدقيق أو أفضل منه) على RoBERTa وDeBERTa وGPT-2 وGPT-3، مع معاملات قابلة للتدريب أقل بكثير. اختبره على مهمتك أنت.

هل أستطيع رفع محوّل LoRA إلى BroadNet Inference؟

لا يصف توثيق BroadNet رفع المحوّلات. وتُتاح نقاط النهاية الخاصة ونسخ BroadNet المضبوطة ضبطًا دقيقًا عند الطلب.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity