BroadRouter
شروع کریں

LoRA (low-rank adaptation)

اپ ڈیٹ

LoRA (low-rank adaptation) ایک پیرامیٹر کفایتی fine-tuning طریقہ ہے جو پہلے سے تربیت یافتہ ماڈل کے weights کو منجمد کر دیتا ہے اور منتخب layers کے لیے چھوٹی low-rank میٹرکس کا ایک جوڑا تربیت دیتا ہے۔ سیکھی گئی تبدیلی چھوٹے adapter کے طور پر رکھی جا سکتی ہے یا weights میں ملائی جا سکتی ہے، انفرنس latency بڑھائے بغیر۔

دوسرے نام: لورا، LoRA adapter، LoRA fine-tuning، lora kya hai، lora fine tuning kya hai، LoRA، low-rank adaptation

LoRA نے پورے ماڈل کے بجائے ایک ننھی سی اصلاح تربیت دے کر بڑے ماڈلز کی fine-tuning کو عام ہارڈویئر پر قابلِ عمل بنا دیا۔

یہ کیسے کام کرتا ہے

Hu اور ساتھیوں نے دیکھا کہ fine-tuning کسی weight matrix میں جو تبدیلی کرتی ہے، اس کی rank اکثر کم ہوتی ہے۔ اس لیے LoRA اصل matrix W₀ کو منجمد رکھتا ہے اور تبدیلی کو دو پتلی میٹرکس کے حاصلِ ضرب کے طور پر سیکھتا ہے:

W = W₀ + BA، جہاں B کا سائز d × r ہے، A کا r × k ہے، اور r، d یا k سے بہت چھوٹا ہے۔

B صفر سے شروع ہوتا ہے، اس لیے تربیت غیر تبدیل شدہ ماڈل سے شروع ہوتی ہے۔ پیپر نے LoRA زیادہ تر attention کی query اور value projections پر لگایا۔

پیرامیٹرز کی بچت کا حساب آسان ہے۔ ایک 4,096 × 4,096 matrix کے لیے:

پیرامیٹرز
مکمل تبدیلی 4,096 × 4,096 = 16,777,216
LoRA، r = 8 8 × (4,096 + 4,096) = 65,536

یہ مکمل تعداد کا تقریباً 0.4% ہے۔ GPT-3 175B پر پیپر 10,000 گنا کم تربیت پانے والے پیرامیٹرز، GPU میموری میں 3× کمی، اور checkpoints کا تقریباً 350 GB سے گھٹ کر تقریباً 35 MB ہونا بتاتا ہے۔

یہ کیوں اہم ہے

  • سستی تربیت. کم تربیت پانے والے weights کا مطلب optimiser state کے لیے کم میموری۔ منجمد بیس کی کوانٹائزیشن کے ساتھ، بڑے ماڈلز چھوٹے GPUs پر سما جاتے ہیں۔
  • کوئی اضافی latency نہیں. Hugging Face کی PEFT گائیڈ بتاتی ہے کہ adapters کو merge_and_unload() سے ملایا جا سکتا ہے، اس لیے سرونگ کی لاگت بیس ماڈل جتنی ہی رہتی ہے۔
  • کئی کام، ایک بیس. چونکہ بیس منجمد رہتا ہے، آپ کسی اوپن ویٹ ماڈل کی ایک کاپی رکھ کر ہر گاہک یا کام کے لیے چھوٹے adapters بدل سکتے ہیں۔
  • حدود. LoRA برتاؤ اور انداز اچھی طرح بدلتا ہے۔ پھر بھی یہ fine-tuning ہی ہے، اس لیے اسے اچھا ڈیٹا اور ایک eval چاہیے۔

BroadNet Inference پر

BroadNet کا API ریفرنس LoRA، adapter اپ لوڈ یا ہر درخواست پر adapter کے انتخاب کو درج نہیں کرتا۔ آپ broadnet/qwen3.8-27b جیسی مقررہ ماڈل IDs کال کرتے ہیں۔ پرائیویٹ endpoints اور BroadNet کے عربی fine-tunes درخواست پر دستیاب ہیں، لیکن دستاویزات یہ نہیں بتاتیں کہ انہیں کیسے تربیت دی گئی۔ اگر آپ خود adapters تربیت دینے کا سوچ رہے ہیں تو سیلف ہوسٹنگ بمقابلہ API والی پوسٹ سے API قیمتوں کا موازنہ کریں، اور اگر دونوں چلاتے ہیں تو LiteLLM جیسا راؤٹر ٹریفک دونوں میں سے کسی کو بھی بھیج سکتا ہے۔

عام سوالات

LoRA میں rank r کا کیا مطلب ہے؟

یہ دونوں چھوٹی میٹرکس کا اندرونی سائز ہے۔ کم rank کا مطلب کم تربیت پانے والے پیرامیٹرز اور چھوٹا adapter۔ LoRA پیپر بتاتا ہے کہ GPT-3 175B پر 1 یا 2 جتنی کم rank بھی اچھی چلی۔

کیا LoRA مکمل fine-tuning جتنا اچھا ہے؟

LoRA پیپر RoBERTa، DeBERTa، GPT-2 اور GPT-3 پر "on-par or better than fine-tuning" (ترجمہ: fine-tuning کے برابر یا بہتر) معیار بتاتا ہے، بہت کم تربیت پانے والے پیرامیٹرز کے ساتھ۔ اسے اپنے کام پر ٹیسٹ کریں۔

کیا میں BroadNet Inference پر LoRA adapter اپ لوڈ کر سکتا ہوں؟

BroadNet کی دستاویزات adapter اپ لوڈ کے بارے میں کچھ نہیں بتاتیں۔ پرائیویٹ endpoints اور BroadNet کے اپنے fine-tunes درخواست پر دستیاب ہیں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں