BroadRouter
शुरू करें

टेम्परेचर (temperature)

अपडेट किया गया

टेम्परेचर एक सैंपलिंग पैरामीटर है जो तय करता है कि लैंग्वेज मॉडल का आउटपुट कितना रैंडम होगा। मॉडल अपने टोकन स्कोर को प्रायिकता में बदलने से पहले टेम्परेचर से भाग देता है: कम वैल्यू पर सबसे संभावित टोकन हावी रहता है, ज़्यादा वैल्यू पर वितरण सपाट हो जाता है और कम संभावित टोकन ज़्यादा बार चुने जाते हैं।

अन्य नाम: टेम्परेचर, तापमान, LLM टेम्परेचर, temperature kya hai, LLM me temperature kya hota hai, temperature, sampling temperature, LLM temperature, temperature parameter

टेम्परेचर वह डायल है जो “हमेशा एक ही जवाब” और “हर बार अलग जवाब” के बीच घूमता है।

यह कैसे काम करता है

मॉडल हर उस टोकन के लिए एक स्कोर (logit) बनाता है जो वह आगे लिख सकता है। softmax इन स्कोर को प्रायिकताओं में बदलता है। टेम्परेचर पहले हर स्कोर को भाग देता है। Hinton और साथी softmax को इसी T के साथ लिखते हैं और कहते हैं कि “using a higher value for T produces a softer probability distribution over classes” (अनुवाद: T की ऊँची वैल्यू क्लास पर ज़्यादा नरम प्रायिकता वितरण बनाती है)।

  • T, 1 से कम हो तो वितरण तीखा होता है। सबसे ऊपर वाला टोकन ज़्यादा बार जीतता है।
  • T = 1 पर मॉडल की प्रायिकताएँ वैसी ही रहती हैं जैसी ट्रेनिंग में बनीं।
  • T, 1 से ज़्यादा हो तो वे सपाट होती हैं। दुर्लभ टोकन ज़्यादा चुने जाते हैं।
  • T, 0 के क़रीब हो तो यह greedy decoding जैसा हो जाता है: हमेशा सबसे संभावित टोकन लेना।

OpenAI का API “between 0 and 2” (अनुवाद: 0 और 2 के बीच) की वैल्यू स्वीकार करता है, डिफ़ॉल्ट 1 है। उसका रेफ़रंस कहता है कि 0.8 आउटपुट को “more random” (अनुवाद: ज़्यादा रैंडम) और 0.2 “more focused and deterministic” (अनुवाद: ज़्यादा केंद्रित और तय) बनाता है। वह “altering this or top_p but not both” (अनुवाद: इसे या top_p को बदलें, दोनों को नहीं) की सलाह भी देता है, क्योंकि top-p रैंडमनेस घटाने का दूसरा तरीक़ा है।

ओपन मॉडल अक्सर अपनी डिफ़ॉल्ट वैल्यू के साथ आते हैं। Hugging Face Transformers, temperature को मॉडल की generation_config.json से पढ़ता है, और वह न हो तो 1.0 मान लेता है। कोई सर्विंग स्टैक इनमें से कोई भी वैल्यू इस्तेमाल कर सकता है।

यह क्यों मायने रखता है

  • दोहराव. एक्सट्रैक्शन, रूटिंग और स्ट्रक्चर्ड आउटपुट को स्थिर जवाब चाहिए। कम टेम्परेचर रन-दर-रन फ़र्क़ घटाता है।
  • क्वालिटी. बहुत ज़्यादा हो तो मॉडल अजीब शब्दों या गढ़े हुए ब्योरों की ओर भटकता है, जिससे हैलुसिनेशन बढ़ता है। बहुत कम हो तो लंबा टेक्स्ट लूप में फँस सकता है: Hugging Face बताता है कि लंबे सीक्वेंस पर greedy decoding “begins to repeat itself” (अनुवाद: ख़ुद को दोहराने लगता है)।
  • मूल्यांकन. मॉडल की तुलना करते समय टेम्परेचर तय रखें। वरना आप सैंपलिंग का शोर माप रहे होंगे। logprobs देखने से पता चलता है कि मॉडल के पास कितनी गुंजाइश थी।

टेम्परेचर से कीमत या रफ़्तार नहीं बदलती। किसी भी सेटिंग पर एक टोकन की कीमत उतनी ही है।

BroadNet Inference पर

BroadNet का API रेफ़रंस किसी भी मॉडल के लिए temperature, उसकी स्वीकार्य रेंज या डिफ़ॉल्ट को डॉक्यूमेंट नहीं करता। अनुरोध के उदाहरणों में यह सेट नहीं है। API, OpenAI-कम्पैटिबल है, इसलिए SDK यह फ़ील्ड भेजेंगे, लेकिन हर मॉडल इसे मानता है या नहीं, यह नहीं बताया गया। इसे ख़ुद सेट करें और वही प्रॉम्प्ट कई बार चलाकर देखें कि जवाब कितने अलग आते हैं। क्लाइंट सेटअप OpenAI Python SDK गाइड में है।

आम ग़लतियाँ

  • temperature 0 रखकर मान लेना कि आउटपुट हमेशा एक जैसा रहेगा। जिन जवाबों को दोबारा बनाना हो, उन्हें सेव करें।
  • ग़लत जवाब ठीक करने के लिए temperature बढ़ाना। सटीकता बेहतर प्रॉम्प्ट या ज़्यादा कॉन्टेक्स्ट से सुधरती है; temperature सिर्फ़ विविधता बदलता है।

अक्सर पूछे जाने वाले सवाल

मुझे कौन-सा temperature इस्तेमाल करना चाहिए?

एक्सट्रैक्शन, क्लासिफ़िकेशन और कोड के लिए 0 से 0.3 जैसी कम वैल्यू, जहाँ आपको हर बार वही जवाब चाहिए। ब्रेनस्टॉर्मिंग और अलग-अलग शब्दों के लिए 0.7 से 1 जैसी ज़्यादा वैल्यू। दोनों को अपने प्रॉम्प्ट पर टेस्ट करें।

क्या temperature 0 से आउटपुट पूरी तरह तय (deterministic) हो जाता है?

इसकी गारंटी नहीं है। यह मॉडल को हर बार सबसे ऊपर वाले टोकन की ओर धकेलता है, लेकिन प्रोवाइडर आम तौर पर हर रन में एक जैसे आउटपुट का वादा नहीं करते। जिस जवाब को दोबारा बनाना हो, उसे सेव करके रखें।

BroadNet का डिफ़ॉल्ट temperature क्या है?

BroadNet के डॉक्स किसी भी मॉडल के लिए डिफ़ॉल्ट temperature नहीं बताते। अगर आपका आउटपुट इस पर निर्भर है, तो इसे हर अनुरोध में ख़ुद सेट करें।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें