BroadRouter
شروع کریں

ٹمپریچر (temperature)

اپ ڈیٹ

ٹمپریچر ایک سیمپلنگ پیرامیٹر ہے جو طے کرتا ہے کہ لینگویج ماڈل کا آؤٹ پٹ کتنا رینڈم ہوگا۔ ماڈل اپنے ٹوکن اسکورز کو احتمالات میں بدلنے سے پہلے ٹمپریچر سے تقسیم کرتا ہے: کم قدر پر سب سے ممکنہ ٹوکن غالب رہتا ہے، زیادہ قدر پر تقسیم ہموار ہو جاتی ہے اور کم ممکنہ ٹوکن زیادہ بار چنے جاتے ہیں۔

دوسرے نام: ٹمپریچر، درجۂ حرارت، LLM ٹمپریچر، temperature kya hai، LLM mein temperature kya hota hai، temperature، sampling temperature، LLM temperature، temperature parameter

ٹمپریچر وہ ڈائل ہے جو “ہمیشہ ایک ہی جواب” اور “ہر بار مختلف جواب” کے درمیان گھومتا ہے۔

یہ کیسے کام کرتا ہے

ماڈل ہر اس ٹوکن کے لیے ایک اسکور (logit) بناتا ہے جو وہ آگے لکھ سکتا ہے۔ softmax ان اسکورز کو احتمالات میں بدلتا ہے۔ ٹمپریچر پہلے ہر اسکور کو تقسیم کرتا ہے۔ Hinton اور ساتھی softmax کو اسی T کے ساتھ لکھتے ہیں اور کہتے ہیں کہ “using a higher value for T produces a softer probability distribution over classes” (ترجمہ: T کی بلند قدر کلاسز پر زیادہ نرم احتمالی تقسیم پیدا کرتی ہے)۔

  • T، 1 سے کم ہو تو تقسیم تیز ہو جاتی ہے۔ سب سے اوپر والا ٹوکن زیادہ بار جیتتا ہے۔
  • T = 1 پر ماڈل کے احتمالات ویسے ہی رہتے ہیں جیسے ٹریننگ میں بنے۔
  • T، 1 سے زیادہ ہو تو وہ ہموار ہو جاتے ہیں۔ نایاب ٹوکن زیادہ چنے جاتے ہیں۔
  • T، 0 کے قریب ہو تو یہ greedy decoding جیسا ہو جاتا ہے: ہمیشہ سب سے ممکنہ ٹوکن لینا۔

OpenAI کا API “between 0 and 2” (ترجمہ: 0 اور 2 کے درمیان) کی قدریں قبول کرتا ہے، ڈیفالٹ 1 ہے۔ اس کا ریفرنس کہتا ہے کہ 0.8 آؤٹ پٹ کو “more random” (ترجمہ: زیادہ رینڈم) اور 0.2 “more focused and deterministic” (ترجمہ: زیادہ مرکوز اور طے شدہ) بناتا ہے۔ وہ “altering this or top_p but not both” (ترجمہ: اسے یا top_p کو بدلیں، دونوں کو نہیں) کا مشورہ بھی دیتا ہے، کیونکہ top-p رینڈمنیس کم کرنے کا دوسرا طریقہ ہے۔

اوپن ماڈلز اکثر اپنی ڈیفالٹ قدروں کے ساتھ آتے ہیں۔ Hugging Face Transformers، temperature کو ماڈل کی generation_config.json سے پڑھتا ہے، اور وہ نہ ہو تو 1.0 مان لیتا ہے۔ کوئی سرونگ اسٹیک ان میں سے کوئی بھی قدر استعمال کر سکتا ہے۔

یہ کیوں اہم ہے

  • دہرائے جانے کی صلاحیت۔ ایکسٹریکشن، روٹنگ اور اسٹرکچرڈ آؤٹ پٹ کو مستحکم جوابات چاہییں۔ کم ٹمپریچر ہر رن کے درمیان فرق کم کرتا ہے۔
  • معیار۔ بہت زیادہ ہو تو ماڈل عجیب الفاظ یا گھڑی ہوئی تفصیلات کی طرف بھٹکتا ہے، جس سے ہیلوسینیشن بڑھتی ہے۔ بہت کم ہو تو لمبا متن لوپ میں پھنس سکتا ہے: Hugging Face بتاتا ہے کہ لمبی سیکوئنسز پر greedy decoding “begins to repeat itself” (ترجمہ: خود کو دہرانے لگتی ہے)۔
  • جانچ۔ ماڈلز کا موازنہ کرتے وقت ٹمپریچر مقرر رکھیں۔ ورنہ آپ سیمپلنگ کا شور ناپ رہے ہوں گے۔ logprobs دیکھنے سے پتہ چلتا ہے کہ ماڈل کے پاس کتنی گنجائش تھی۔

ٹمپریچر سے قیمت یا رفتار نہیں بدلتی۔ کسی بھی سیٹنگ پر ایک ٹوکن کی قیمت اتنی ہی ہے۔

BroadNet Inference پر

BroadNet کا API ریفرنس کسی بھی ماڈل کے لیے temperature، اس کی قابلِ قبول حد یا ڈیفالٹ درج نہیں کرتا۔ درخواست کی مثالوں میں یہ سیٹ نہیں۔ API، OpenAI-compatible ہے، اس لیے SDKs یہ فیلڈ بھیجیں گے، لیکن ہر ماڈل اسے مانتا ہے یا نہیں، یہ نہیں بتایا گیا۔ اسے خود سیٹ کریں اور وہی پرامپٹ کئی بار چلا کر دیکھیں کہ جوابات کتنے مختلف آتے ہیں۔ کلائنٹ سیٹ اپ OpenAI Python SDK گائیڈ میں ہے۔

عام غلطیاں

  • temperature 0 رکھ کر یہ سمجھنا کہ آؤٹ پٹ ہمیشہ ایک جیسا رہے گا۔ جن جوابات کو دوبارہ حاصل کرنا ہو انہیں محفوظ کریں۔
  • غلط جواب ٹھیک کرنے کے لیے temperature بڑھانا۔ درستی بہتر پرامپٹ یا زیادہ کانٹیکسٹ سے آتی ہے؛ temperature صرف تنوع بدلتا ہے۔

عام سوالات

مجھے کون سا temperature استعمال کرنا چاہیے؟

ایکسٹریکشن، درجہ بندی اور کوڈ کے لیے 0 سے 0.3 جیسی کم قدریں، جہاں آپ کو ہر بار وہی جواب چاہیے۔ برین اسٹارمنگ اور مختلف الفاظ کے لیے 0.7 سے 1 جیسی زیادہ قدریں۔ دونوں کو اپنے پرامپٹس پر ٹیسٹ کریں۔

کیا temperature 0 سے آؤٹ پٹ مکمل طور پر طے شدہ (deterministic) ہو جاتا ہے؟

اس کی ضمانت نہیں۔ یہ ماڈل کو ہر بار سب سے اوپر والے ٹوکن کی طرف دھکیلتا ہے، لیکن فراہم کنندگان عموماً ہر رن میں ایک جیسے آؤٹ پٹ کا وعدہ نہیں کرتے۔ جس جواب کو دوبارہ حاصل کرنا ہو اسے محفوظ رکھیں۔

BroadNet کا ڈیفالٹ temperature کیا ہے؟

BroadNet کی دستاویزات کسی بھی ماڈل کے لیے ڈیفالٹ temperature نہیں بتاتیں۔ اگر آپ کا آؤٹ پٹ اس پر منحصر ہے تو اسے ہر درخواست میں خود سیٹ کریں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں