LoRA نے پورے ماڈل کے بجائے ایک ننھی سی اصلاح تربیت دے کر بڑے ماڈلز کی fine-tuning کو عام ہارڈویئر پر قابلِ عمل بنا دیا۔
یہ کیسے کام کرتا ہے
Hu اور ساتھیوں نے دیکھا کہ fine-tuning کسی weight matrix میں جو تبدیلی کرتی ہے، اس کی rank اکثر کم ہوتی ہے۔ اس لیے LoRA اصل matrix W₀ کو منجمد رکھتا ہے اور تبدیلی کو دو پتلی میٹرکس کے حاصلِ ضرب کے طور پر سیکھتا ہے:
W = W₀ + BA، جہاں B کا سائز d × r ہے، A کا r × k ہے، اور r، d یا k سے بہت چھوٹا ہے۔
B صفر سے شروع ہوتا ہے، اس لیے تربیت غیر تبدیل شدہ ماڈل سے شروع ہوتی ہے۔ پیپر نے LoRA زیادہ تر attention کی query اور value projections پر لگایا۔
پیرامیٹرز کی بچت کا حساب آسان ہے۔ ایک 4,096 × 4,096 matrix کے لیے:
| پیرامیٹرز | |
|---|---|
| مکمل تبدیلی | 4,096 × 4,096 = 16,777,216 |
| LoRA، r = 8 | 8 × (4,096 + 4,096) = 65,536 |
یہ مکمل تعداد کا تقریباً 0.4% ہے۔ GPT-3 175B پر پیپر 10,000 گنا کم تربیت پانے والے پیرامیٹرز، GPU میموری میں 3× کمی، اور checkpoints کا تقریباً 350 GB سے گھٹ کر تقریباً 35 MB ہونا بتاتا ہے۔
یہ کیوں اہم ہے
- سستی تربیت. کم تربیت پانے والے weights کا مطلب optimiser state کے لیے کم میموری۔ منجمد بیس کی کوانٹائزیشن کے ساتھ، بڑے ماڈلز چھوٹے GPUs پر سما جاتے ہیں۔
- کوئی اضافی latency نہیں. Hugging Face کی PEFT گائیڈ بتاتی ہے کہ adapters کو
merge_and_unload()سے ملایا جا سکتا ہے، اس لیے سرونگ کی لاگت بیس ماڈل جتنی ہی رہتی ہے۔ - کئی کام، ایک بیس. چونکہ بیس منجمد رہتا ہے، آپ کسی اوپن ویٹ ماڈل کی ایک کاپی رکھ کر ہر گاہک یا کام کے لیے چھوٹے adapters بدل سکتے ہیں۔
- حدود. LoRA برتاؤ اور انداز اچھی طرح بدلتا ہے۔ پھر بھی یہ fine-tuning ہی ہے، اس لیے اسے اچھا ڈیٹا اور ایک eval چاہیے۔
BroadNet Inference پر
BroadNet کا API ریفرنس LoRA، adapter اپ لوڈ یا ہر درخواست پر adapter کے انتخاب کو درج نہیں کرتا۔ آپ broadnet/qwen3.8-27b جیسی مقررہ ماڈل IDs کال کرتے ہیں۔ پرائیویٹ endpoints اور BroadNet کے عربی fine-tunes درخواست پر دستیاب ہیں، لیکن دستاویزات یہ نہیں بتاتیں کہ انہیں کیسے تربیت دی گئی۔ اگر آپ خود adapters تربیت دینے کا سوچ رہے ہیں تو سیلف ہوسٹنگ بمقابلہ API والی پوسٹ سے API قیمتوں کا موازنہ کریں، اور اگر دونوں چلاتے ہیں تو LiteLLM جیسا راؤٹر ٹریفک دونوں میں سے کسی کو بھی بھیج سکتا ہے۔