BroadRouter

फ़ाइन-ट्यूनिंग (fine-tuning)

अपडेट किया गया

फ़ाइन-ट्यूनिंग पहले से ट्रेन हुए लैंग्वेज मॉडल को किसी छोटे, काम-विशेष डेटासेट, जैसे उदाहरण वाली बातचीत, पर आगे ट्रेन करने की प्रक्रिया है, ताकि उसके वेट बदलें और वह हर प्रॉम्प्ट में लंबे निर्देश या उदाहरण दिए बिना वह काम या स्टाइल ज़्यादा भरोसे से करे।

अन्य नाम: फ़ाइन-ट्यूनिंग, फ़ाइन ट्यूनिंग, fine tuning kya hai, llm fine tuning, fine-tuning, finetuning, supervised fine-tuning, SFT, model fine-tuning

प्रॉम्प्टिंग मॉडल को हर बार बताती है कि क्या करना है। फ़ाइन-ट्यूनिंग मॉडल को ऐसा बदल देती है कि वह पहले से जानता हो।

यह कैसे काम करती है

आप एक ट्रेन हुए मॉडल से शुरू करते हैं और अपने उदाहरणों पर और ट्रेनिंग चलाते हैं। सुपरवाइज़्ड फ़ाइन-ट्यूनिंग (SFT) में हर उदाहरण एक बातचीत होता है जिसमें वह जवाब होता है जो आप चाहते हैं। OpenAI की गाइड चैट फ़ॉर्मैट में JSONL इस्तेमाल करती है, “one complete JSON structure on every line” (अनुवाद: हर लाइन पर एक पूरा JSON ढाँचा):

{"messages": [{"role": "user", "content": "Classify: 'card charged twice'"}, {"role": "assistant", "content": "billing"}]}

ट्रेनिंग जॉब वेट को ऐसे बदलता है कि वे जवाब ज़्यादा संभावित हो जाएँ, और एक नया मॉडल ID लौटाता है। OpenAI न्यूनतम 10 उदाहरण तय करता है और 50 से शुरू करके, और जोड़ने से पहले इवैल्यूएट करने की सलाह देता है।

फ़ुल फ़ाइन-ट्यूनिंग हर वेट अपडेट करती है, जो बड़े मॉडल के लिए महँगा है। Hu और साथियों का LoRA पेपर GPT-3 की अलग-अलग फ़ाइन-ट्यून की गई कॉपियाँ, “each with 175B parameters” (अनुवाद: हर एक में 175B पैरामीटर), डिप्लॉय करना बेहद महँगा बताता है। LoRA जैसे पैरामीटर-कुशल तरीक़े इसके बजाय एक छोटा ऐड-ऑन ट्रेन करते हैं। डिस्टिलेशन एक जुड़ा हुआ विचार है: छोटे मॉडल को बड़े मॉडल के आउटपुट पर फ़ाइन-ट्यून करना।

यह क्यों मायने रखती है

  • छोटे प्रॉम्प्ट. जो व्यवहार लंबे फ़्यू-शॉट प्रॉम्प्ट से आता था, वह वेट में जा सकता है, जिससे हर कॉल के इनपुट टोकन घटते हैं।
  • एकरूपता. अच्छे इस्तेमाल हैं: क्लासिफ़िकेशन, तय आउटपुट स्टाइल, किसी क्षेत्र का अनुवाद, और निर्देश न मानने की ग़लतियाँ सुधारना।
  • रखरखाव. ट्यून किया मॉडल एक बेस मॉडल से बँधा होता है। बेस रिटायर हुआ, तो दोबारा ट्रेन करना होगा। OpenAI की गाइड अब कहती है कि वह अपना फ़ाइन-ट्यूनिंग प्लेटफ़ॉर्म धीरे-धीरे बंद कर रहा है, नए यूज़र के लिए बंद है, और ट्यून किए मॉडल तब तक चलेंगे जब तक उनके बेस मॉडल बंद न हों।
  • पहले माप. ट्रेनिंग से पहले eval बनाएँ, वरना आप नहीं बता पाएँगे कि ट्यून किया मॉडल बेहतर है या नहीं।

बदलते तथ्य जोड़ने के लिए फ़ाइन-ट्यूनिंग अच्छा तरीक़ा नहीं है। रिट्रीवल उन्हें ताज़ा रखता है।

BroadNet Inference पर

BroadNet का API रेफ़रंस फ़ाइन-ट्यूनिंग API, ट्रेनिंग जॉब या अपने वेट अपलोड करने का कोई तरीक़ा नहीं बताता। वह यह ज़रूर कहता है कि “our Arabic fine-tunes and other models on request” (अनुवाद: हमारे अरबी फ़ाइन-ट्यून और अनुरोध पर दूसरे मॉडल) एंडपॉइंट के साथ जारी किए प्राइवेट मॉडल ID से मिलते हैं। BroadNet अनुरोध पर ऐसा एक मॉडल बताता है: शोर वाले ऑडियो में नंबर, तारीख़ और नाम के लिए Cohere Transcribe Arabic का एक फ़ाइन-ट्यून। सार्वजनिक अरबी ट्रांसक्रिप्शन मॉडल के लिए अरबी स्पीच-टू-टेक्स्ट गाइड देखें। अगर आपको अपना मॉडल ट्रेन करना है, तो आम तौर पर शुरुआत किसी ओपन-वेट मॉडल से होती है; फ़ायदे-नुक़सान ओपन-वेट बनाम क्लोज़्ड मॉडल में हैं।

अक्सर पूछे जाने वाले सवाल

LLM को फ़ाइन-ट्यून करने के लिए कितने उदाहरण चाहिए?

OpenAI की गाइड कम से कम 10 तय करती है और 50 अच्छी तरह बनाए उदाहरणों से शुरू करके नतीजे मापने का सुझाव देती है। अगर 50 अच्छे उदाहरणों से कुछ नहीं बदलता, तो और जोड़ने से पहले काम पर दोबारा सोचें।

कंपनी की जानकारी के लिए फ़ाइन-ट्यूनिंग या RAG?

आम तौर पर रिट्रीवल। फ़ाइन-ट्यूनिंग व्यवहार और फ़ॉर्मैट अच्छी तरह सिखाती है, लेकिन बदलते तथ्यों को उन डॉक्यूमेंट में ताज़ा रखना आसान है जिन्हें आप अनुरोध के समय रिट्रीव करते हैं।

क्या मैं BroadNet Inference पर मॉडल फ़ाइन-ट्यून कर सकता हूँ?

BroadNet के डॉक्स में फ़ाइन-ट्यूनिंग API नहीं है। उनमें BroadNet के अपने अरबी फ़ाइन-ट्यून का ज़िक्र है, जो अनुरोध पर प्राइवेट एंडपॉइंट के रूप में मिलते हैं।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें