---
title: "LoRA کیا ہے؟ LLM fine-tuning کے لیے low-rank adaptation"
description: "LoRA منجمد weights کے ساتھ دو چھوٹی low-rank میٹرکس تربیت دے کر LLM کو fine-tune کرتا ہے۔ یہ کیسے کام کرتا ہے، پیرامیٹرز کا حساب، اور یہ latency کیوں نہیں بڑھاتا۔"
url: https://broadrouter.com/ur/glossary/lora/
lang: ur
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

یہ صفحہ انگریزی سے AI کی مدد سے ترجمہ کیا گیا ہے۔ [انگریزی اصل پڑھیں](https://broadrouter.com/glossary/lora/) (اپ ڈیٹ: 2026-11-14).

# LoRA (low-rank adaptation)

اپ ڈیٹ 2026-11-14

LoRA (low-rank adaptation) ایک پیرامیٹر کفایتی fine-tuning طریقہ ہے جو پہلے سے تربیت یافتہ ماڈل کے weights کو منجمد کر دیتا ہے اور منتخب layers کے لیے چھوٹی low-rank میٹرکس کا ایک جوڑا تربیت دیتا ہے۔ سیکھی گئی تبدیلی چھوٹے adapter کے طور پر رکھی جا سکتی ہے یا weights میں ملائی جا سکتی ہے، انفرنس latency بڑھائے بغیر۔

دوسرے نام: لورا، LoRA adapter، LoRA fine-tuning، lora kya hai، lora fine tuning kya hai، LoRA، low-rank adaptation

LoRA نے پورے ماڈل کے بجائے ایک ننھی سی اصلاح تربیت دے کر بڑے ماڈلز کی fine-tuning کو عام ہارڈویئر پر قابلِ عمل بنا دیا۔

## یہ کیسے کام کرتا ہے

Hu اور ساتھیوں نے دیکھا کہ fine-tuning کسی weight matrix میں جو تبدیلی کرتی ہے، اس کی rank اکثر کم ہوتی ہے۔ اس لیے LoRA اصل matrix W₀ کو منجمد رکھتا ہے اور تبدیلی کو دو پتلی میٹرکس کے حاصلِ ضرب کے طور پر سیکھتا ہے:

W = W₀ + BA، جہاں B کا سائز d × r ہے، A کا r × k ہے، اور r، d یا k سے بہت چھوٹا ہے۔

B صفر سے شروع ہوتا ہے، اس لیے تربیت غیر تبدیل شدہ ماڈل سے شروع ہوتی ہے۔ پیپر نے LoRA زیادہ تر attention کی query اور value projections پر لگایا۔

پیرامیٹرز کی بچت کا حساب آسان ہے۔ ایک 4,096 × 4,096 matrix کے لیے:

|  | پیرامیٹرز |
| --- | --- |
| مکمل تبدیلی | 4,096 × 4,096 = 16,777,216 |
| LoRA، r = 8 | 8 × (4,096 + 4,096) = 65,536 |

یہ مکمل تعداد کا تقریباً 0.4% ہے۔ GPT-3 175B پر پیپر 10,000 گنا کم تربیت پانے والے پیرامیٹرز، GPU میموری میں 3× کمی، اور checkpoints کا تقریباً 350 GB سے گھٹ کر تقریباً 35 MB ہونا بتاتا ہے۔

## یہ کیوں اہم ہے

-   **سستی تربیت.** کم تربیت پانے والے weights کا مطلب optimiser state کے لیے کم میموری۔ منجمد بیس کی [کوانٹائزیشن](https://broadrouter.com/ur/glossary/quantization/) کے ساتھ، بڑے ماڈلز چھوٹے GPUs پر سما جاتے ہیں۔
-   **کوئی اضافی latency نہیں.** Hugging Face کی PEFT گائیڈ بتاتی ہے کہ adapters کو `merge_and_unload()` سے ملایا جا سکتا ہے، اس لیے سرونگ کی لاگت بیس ماڈل جتنی ہی رہتی ہے۔
-   **کئی کام، ایک بیس.** چونکہ بیس منجمد رہتا ہے، آپ کسی [اوپن ویٹ ماڈل](https://broadrouter.com/ur/glossary/open-weight-model/) کی ایک کاپی رکھ کر ہر گاہک یا کام کے لیے چھوٹے adapters بدل سکتے ہیں۔
-   **حدود.** LoRA برتاؤ اور انداز اچھی طرح بدلتا ہے۔ پھر بھی یہ [fine-tuning](https://broadrouter.com/ur/glossary/fine-tuning/) ہی ہے، اس لیے اسے اچھا ڈیٹا اور ایک eval چاہیے۔

## BroadNet Inference پر

BroadNet کا [API ریفرنس](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-glossary-lora&utm_content=body#models) LoRA، adapter اپ لوڈ یا ہر درخواست پر adapter کے انتخاب کو درج نہیں کرتا۔ آپ `broadnet/qwen3.8-27b` جیسی مقررہ ماڈل IDs کال کرتے ہیں۔ پرائیویٹ endpoints اور BroadNet کے عربی fine-tunes درخواست پر دستیاب ہیں، لیکن دستاویزات یہ نہیں بتاتیں کہ انہیں کیسے تربیت دی گئی۔ اگر آپ خود adapters تربیت دینے کا سوچ رہے ہیں تو [سیلف ہوسٹنگ بمقابلہ API](https://broadrouter.com/ur/blog/self-hosting-llm-vs-api-cost/) والی پوسٹ سے API قیمتوں کا موازنہ کریں، اور اگر دونوں چلاتے ہیں تو [LiteLLM](https://broadrouter.com/ur/guides/litellm-proxy-custom-provider/) جیسا راؤٹر ٹریفک دونوں میں سے کسی کو بھی بھیج سکتا ہے۔

## عام سوالات

### LoRA میں rank r کا کیا مطلب ہے؟

یہ دونوں چھوٹی میٹرکس کا اندرونی سائز ہے۔ کم rank کا مطلب کم تربیت پانے والے پیرامیٹرز اور چھوٹا adapter۔ LoRA پیپر بتاتا ہے کہ GPT-3 175B پر 1 یا 2 جتنی کم rank بھی اچھی چلی۔

### کیا LoRA مکمل fine-tuning جتنا اچھا ہے؟

LoRA پیپر RoBERTa، DeBERTa، GPT-2 اور GPT-3 پر "on-par or better than fine-tuning" (ترجمہ: fine-tuning کے برابر یا بہتر) معیار بتاتا ہے، بہت کم تربیت پانے والے پیرامیٹرز کے ساتھ۔ اسے اپنے کام پر ٹیسٹ کریں۔

### کیا میں BroadNet Inference پر LoRA adapter اپ لوڈ کر سکتا ہوں؟

BroadNet کی دستاویزات adapter اپ لوڈ کے بارے میں کچھ نہیں بتاتیں۔ پرائیویٹ endpoints اور BroadNet کے اپنے fine-tunes درخواست پر دستیاب ہیں۔

## یہ بھی دیکھیں

-   [فائن ٹیوننگ (fine-tuning)](https://broadrouter.com/ur/glossary/fine-tuning/) (اصطلاح)
-   [کوانٹائزیشن (quantization)](https://broadrouter.com/ur/glossary/quantization/) (اصطلاح)
-   [اوپن ویٹ ماڈل (open-weight model)](https://broadrouter.com/ur/glossary/open-weight-model/) (اصطلاح)
-   [ڈسٹلیشن (knowledge distillation)](https://broadrouter.com/ur/glossary/distillation/) (اصطلاح)
-   [LiteLLM کو BroadNet Inference پر روٹ کریں (SDK اور پراکسی)](https://broadrouter.com/ur/guides/litellm-proxy-custom-provider/) (گائیڈ)
-   [LLM خود ہوسٹ کریں یا API لیں: اصل لاگت اور بریک ایون](https://broadrouter.com/ur/blog/self-hosting-llm-vs-api-cost/) (مضمون)
-   [کاروبار کے لیے open-weight بمقابلہ closed AI ماڈلز: لاگت، کنٹرول، خطرہ](https://broadrouter.com/ur/blog/open-weight-vs-closed-models/) (مضمون)

اسے اپنے اصل کام پر آزمائیں۔ نئے اکاؤنٹس Gemma اور ٹرانسکرپشن کے لیے US$5 کے کریڈٹ سے شروع ہوتے ہیں۔ DeepSeek، GLM، اور Qwen3.8 کے لیے ٹاپ اپ ضروری ہے۔

[شروع کریں](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-glossary-lora&utm_content=page-cta) ·

**ذرائع**

-   [Hu اور ساتھی (2021)، LoRA - Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685)
-   [Hugging Face PEFT، LoRA تصوراتی گائیڈ](https://huggingface.co/docs/peft/main/en/conceptual_guides/lora)
-   [BroadNet Inference API ریفرنس، ماڈل IDs (انگریزی میں)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-glossary-lora&utm_content=sources#models)
