جعل LoRA الضبط الدقيق للنماذج الكبيرة عمليًا على عتاد عادي، بتدريب تصحيح صغير بدل النموذج كله.
كيف يعمل
لاحظ Hu وزملاؤه أن التغيير الذي يُحدثه الضبط الدقيق في مصفوفة الأوزان يميل إلى أن يكون منخفض الرتبة. لذا يُبقي LoRA المصفوفة الأصلية W₀ مجمّدة ويتعلم التغيير على شكل حاصل ضرب مصفوفتين رفيعتين:
W = W₀ + BA، حيث B بأبعاد d × r، وA بأبعاد r × k، وr أصغر بكثير من d أو k.
تبدأ B بالصفر، فيبدأ التدريب من النموذج دون تغيير. وطبّقت الورقة LoRA في الغالب على إسقاطات query وvalue في طبقات الانتباه.
حساب التوفير في المعاملات سهل. لمصفوفة واحدة بأبعاد 4,096 × 4,096:
| المعاملات | |
|---|---|
| التحديث الكامل | 4,096 × 4,096 = 16,777,216 |
| LoRA، r = 8 | 8 × (4,096 + 4,096) = 65,536 |
أي نحو 0.4% من العدد الكامل. وعلى GPT-3 175B تفيد الورقة بمعاملات قابلة للتدريب أقل بـ 10,000 مرة، وخفض ذاكرة GPU بمقدار 3 أضعاف، وتقلّص نقاط الحفظ من نحو 350 GB إلى نحو 35 MB.
لماذا يهم
- تدريب أرخص. أوزان قابلة للتدريب أقل تعني ذاكرة أقل لحالة المُحسِّن (optimiser). ومع تكميم النموذج الأساسي المجمّد، تتسع نماذج أكبر على وحدات GPU أصغر.
- لا زمن إضافي. يشير دليل PEFT في Hugging Face إلى إمكان دمج المحوّلات باستخدام
merge_and_unload()، فتكون تكلفة التقديم مثل النموذج الأساسي. - مهام كثيرة، نموذج أساسي واحد. لأن النموذج الأساسي يبقى مجمّدًا، تستطيع الاحتفاظ بنسخة واحدة من نموذج مفتوح الأوزان وتبديل محوّلات صغيرة لكل عميل أو مهمة.
- الحدود. يغيّر LoRA السلوك والأسلوب جيدًا. لكنه يبقى ضبطًا دقيقًا، فيحتاج إلى بيانات جيدة وإلى تقييم.
في BroadNet Inference
لا يوثّق المرجع التقني لـ BroadNet تقنية LoRA ولا رفع المحوّلات ولا اختيار محوّل لكل طلب. فأنت تستدعي معرّفات نماذج ثابتة مثل broadnet/qwen3.8-27b. وتُتاح نقاط النهاية الخاصة ونسخ BroadNet العربية المضبوطة ضبطًا دقيقًا عند الطلب، لكن التوثيق لا يذكر كيف دُرّبت. وإن كنت تخطط لتدريب محوّلات بنفسك، فقارن ذلك بأسعار الواجهة عبر مقالة الاستضافة الذاتية مقابل واجهة API، وإن شغّلت الاثنين، فإن موجّهًا مثل LiteLLM يستطيع إرسال الحركة إلى أيٍّ منهما.