BroadRouter
شروع کریں

فائن ٹیوننگ (fine-tuning)

اپ ڈیٹ

فائن ٹیوننگ پہلے سے تربیت یافتہ لینگویج ماڈل کو کسی چھوٹے، کام کے لحاظ سے مخصوص ڈیٹاسیٹ، جیسے مثالی گفتگو، پر مزید تربیت دینے کا عمل ہے، تاکہ اس کے ویٹس بدلیں اور وہ ہر پرامپٹ میں لمبی ہدایات یا مثالوں کے بغیر وہ کام یا انداز زیادہ بھروسے سے انجام دے۔

دوسرے نام: فائن ٹیوننگ، فائن ٹیون، fine tuning kya hai، llm fine tuning، fine-tuning، finetuning، supervised fine-tuning، SFT، model fine-tuning

پرامپٹنگ ماڈل کو ہر بار بتاتی ہے کہ کیا کرنا ہے۔ فائن ٹیوننگ ماڈل کو ایسا بدل دیتی ہے کہ وہ پہلے سے جانتا ہو۔

یہ کیسے کام کرتی ہے

آپ ایک تربیت یافتہ ماڈل سے شروع کرتے ہیں اور اپنی مثالوں پر مزید تربیت چلاتے ہیں۔ سپروائزڈ فائن ٹیوننگ (SFT) میں ہر مثال ایک گفتگو ہوتی ہے جس میں وہ جواب ہوتا ہے جو آپ چاہتے ہیں۔ OpenAI کی گائیڈ چیٹ فارمیٹ میں JSONL استعمال کرتی ہے، “one complete JSON structure on every line” (ترجمہ: ہر سطر پر ایک مکمل JSON ڈھانچہ):

{"messages": [{"role": "user", "content": "Classify: 'card charged twice'"}, {"role": "assistant", "content": "billing"}]}

ٹریننگ جاب ویٹس کو اس طرح بدلتا ہے کہ وہ جوابات زیادہ ممکن ہو جائیں، اور ایک نئی ماڈل ID لوٹاتا ہے۔ OpenAI کم از کم 10 مثالیں مقرر کرتا ہے اور 50 سے شروع کر کے، مزید شامل کرنے سے پہلے جانچنے کی سفارش کرتا ہے۔

مکمل فائن ٹیوننگ ہر ویٹ اپ ڈیٹ کرتی ہے، جو بڑے ماڈلز کے لیے مہنگا ہے۔ Hu اور ساتھیوں کا LoRA مقالہ GPT-3 کی الگ الگ فائن ٹیون شدہ کاپیاں، “each with 175B parameters” (ترجمہ: ہر ایک میں 175B پیرامیٹرز)، ڈیپلائے کرنا حد سے زیادہ مہنگا قرار دیتا ہے۔ LoRA جیسے پیرامیٹر کے لحاظ سے مؤثر طریقے اس کے بجائے ایک چھوٹا ایڈ آن تربیت دیتے ہیں۔ ڈسٹلیشن ایک متعلقہ خیال ہے: چھوٹے ماڈل کو بڑے ماڈل کے آؤٹ پٹ پر فائن ٹیون کرنا۔

یہ کیوں اہم ہے

  • چھوٹے پرامپٹس۔ جو رویہ لمبے فیو شاٹ پرامپٹ سے آتا تھا وہ ویٹس میں جا سکتا ہے، جس سے ہر کال کے ان پٹ ٹوکن کم ہوتے ہیں۔
  • یکسانیت۔ اچھے استعمال یہ ہیں: کلاسیفکیشن، مقررہ آؤٹ پٹ انداز، کسی شعبے کا ترجمہ، اور ہدایات نہ ماننے کی غلطیاں درست کرنا۔
  • دیکھ بھال۔ ٹیون شدہ ماڈل ایک بیس ماڈل سے بندھا ہوتا ہے۔ بیس ریٹائر ہوا تو دوبارہ تربیت کرنی ہو گی۔ OpenAI کی گائیڈ اب کہتی ہے کہ وہ اپنا فائن ٹیوننگ پلیٹ فارم بتدریج بند کر رہا ہے، نئے صارفین کے لیے بند ہے، اور ٹیون شدہ ماڈلز تب تک چلیں گے جب تک ان کے بیس ماڈلز بند نہ ہوں۔
  • پہلے پیمائش۔ تربیت سے پہلے eval بنائیں، ورنہ آپ نہیں بتا سکیں گے کہ ٹیون شدہ ماڈل بہتر ہے یا نہیں۔

بدلتے حقائق شامل کرنے کے لیے فائن ٹیوننگ اچھا طریقہ نہیں۔ ریٹریول انہیں تازہ رکھتا ہے۔

BroadNet Inference پر

BroadNet کا API حوالہ فائن ٹیوننگ API، ٹریننگ جابز یا اپنے ویٹس اپ لوڈ کرنے کا کوئی طریقہ بیان نہیں کرتا۔ وہ یہ ضرور کہتا ہے کہ “our Arabic fine-tunes and other models on request” (ترجمہ: ہمارے عربی فائن ٹیونز اور درخواست پر دیگر ماڈلز) اینڈپوائنٹ کے ساتھ جاری کی گئی پرائیویٹ ماڈل ID سے ملتے ہیں۔ BroadNet درخواست پر ایسا ایک ماڈل درج کرتا ہے: شور والی آڈیو میں نمبرز، تاریخوں اور ناموں کے لیے Cohere Transcribe Arabic کا ایک فائن ٹیون۔ عوامی عربی ٹرانسکرپشن ماڈل کے لیے عربی اسپیچ ٹو ٹیکسٹ گائیڈ دیکھیں۔ اگر آپ کو اپنا ماڈل تربیت دینا ہے تو عموماً آغاز کسی اوپن ویٹ ماڈل سے ہوتا ہے؛ فوائد اور نقصانات اوپن ویٹ بمقابلہ کلوزڈ ماڈلز میں ہیں۔

عام سوالات

LLM کو فائن ٹیون کرنے کے لیے کتنی مثالیں چاہییں؟

OpenAI کی گائیڈ کم از کم 10 مقرر کرتی ہے اور 50 اچھی طرح بنائی گئی مثالوں سے شروع کر کے نتائج ناپنے کا مشورہ دیتی ہے۔ اگر 50 اچھی مثالوں سے کچھ نہ بدلے تو مزید شامل کرنے سے پہلے کام پر دوبارہ غور کریں۔

کمپنی کی معلومات کے لیے فائن ٹیوننگ یا RAG؟

عموماً ریٹریول۔ فائن ٹیوننگ رویہ اور فارمیٹ اچھی طرح سکھاتی ہے، لیکن بدلتے حقائق کو ان دستاویزات میں تازہ رکھنا آسان ہے جنہیں آپ درخواست کے وقت ریٹریو کرتے ہیں۔

کیا میں BroadNet Inference پر ماڈل فائن ٹیون کر سکتا ہوں؟

BroadNet کی دستاویزات میں فائن ٹیوننگ API درج نہیں۔ ان میں BroadNet کے اپنے عربی فائن ٹیونز کا ذکر ہے، جو درخواست پر پرائیویٹ اینڈپوائنٹس کے طور پر ملتے ہیں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں