چیٹ ماڈل کبھی پیغامات کی فہرست نہیں دیکھتا۔ وہ ٹوکنز کی ایک لمبی قطار دیکھتا ہے۔ وہ قطار کیسی دکھے گی، یہ چیٹ ٹیمپلیٹ طے کرتا ہے۔
یہ کیسے کام کرتا ہے
Hugging Face کی گائیڈ مرکزی نکتہ بتاتی ہے: تمام causal لینگویج ماڈل “continue a sequence of tokens” (ترجمہ: ٹوکنز کی ایک ترتیب کو آگے بڑھاتے ہیں)، اور آپ کی بھیجی گئی role اور content والی dictionaries “get converted to a token sequence, often with control tokens” (ترجمہ: ٹوکن ترتیب میں بدلی جاتی ہیں، اکثر control ٹوکنز کے ساتھ)۔ مختلف ماڈل مختلف فارمیٹ استعمال کرتے ہیں، “even if they were fine-tuned from the same base model” (ترجمہ: چاہے وہ ایک ہی base ماڈل سے fine-tune ہوئے ہوں)۔
گائیڈ میں وہی مختصر چیٹ دو ٹیمپلیٹس سے یوں بنتی ہے:
Mistral-7B-Instruct:
<s>[INST] Hello, how are you? [/INST]I'm doing great. How can I help you today?</s>
Zephyr-7B:
<|user|>
Hello, how are you?</s>
<|assistant|>
I'm doing great. How can I help you today?</s>
Transformers میں آپ چیٹ کو tokenizer.apply_chat_template(messages, add_generation_prompt=True) سے رینڈر کرتے ہیں۔ add_generation_prompt فلیگ assistant کی باری کھولنے والے ٹوکن جوڑتا ہے؛ گائیڈ خبردار کرتی ہے کہ ان کے بغیر ماڈل جواب دینے کے بجائے صارف کا پیغام آگے بڑھا سکتا ہے۔
ٹیمپلیٹس ماڈل کے فیچرز بھی لے جا سکتے ہیں۔ Google کا Gemma 4 کارڈ کہتا ہے کہ thinking سسٹم پرامپٹ کے شروع میں <|think|> ٹوکن رکھ کر چالو ہوتی ہے، اور “many libraries like Transformers and llama.cpp handle the complexities of the chat template for you.” (ترجمہ: Transformers اور llama.cpp جیسی کئی لائبریریاں چیٹ ٹیمپلیٹ کی پیچیدگیاں آپ کے لیے سنبھالتی ہیں۔)
یہ کیوں اہم ہے
- معیار۔ گائیڈ کہتی ہے کہ “with the wrong control tokens, these models would have drastically worse performance.” (ترجمہ: غلط control ٹوکنز کے ساتھ ان ماڈلز کی کارکردگی بہت خراب ہوگی۔)
- سیلف ہوسٹنگ۔ چیٹ درخواستیں قبول کرنے کے لیے سرونگ انجن کو ٹیمپلیٹ چاہیے۔ vLLM کی دستاویزات کہتی ہیں کہ اس کے بغیر “all chat requests will error” (ترجمہ: تمام چیٹ درخواستیں ایرر دیں گی)، اور اسے دینے کے لیے
--chat-templateلیتی ہیں۔ vLLM دیکھیں۔ - ٹوکن گنتی۔ control ٹوکن ان پٹ ٹوکنز میں گنے جاتے ہیں۔ بھیجنے سے پہلے ٹوکن گننا والی ہماری پوسٹ بتاتی ہے کہ لوکل گنتی اور بل کی گنتی مختلف کیوں ہوتی ہے۔
- دوہرے special ٹوکن۔ گائیڈ خبردار کرتی ہے کہ ٹیمپلیٹ کے بعد دوبارہ
<bos>یا<eos>جوڑنا “is often incorrect or duplicated, hurting model performance” (ترجمہ: اکثر غلط یا دوہرا ہوتا ہے، جس سے ماڈل کی کارکردگی گھٹتی ہے)۔ - سسٹم پرامپٹ بھی اس کا حصہ ہے۔ سسٹم پیغام کہاں جائے گا، اور ماڈل میں سسٹم role ہے بھی یا نہیں، یہ ٹیمپلیٹ طے کرتا ہے۔
BroadNet Inference پر
BroadNet کا API ایک OpenAI-compatible chat completions اینڈپوائنٹ ہے، اس لیے آپ messages بھیجتے ہیں اور ٹیمپلیٹ BroadNet لگاتا ہے؛ آپ خام ٹیمپلیٹ متن نہیں بھیجتے۔ BroadNet بتاتا ہے کہ وہ Gemma 4 VL 26B کو “BroadNet conversational chat template” کے ساتھ سرو کرتا ہے، جو اس کے گفتگو والے ورک فلو کے لیے ٹیون کیا گیا ٹیمپلیٹ ہے۔ اگر آپ BroadNet کے Gemma کا موازنہ لوکل چلائے گئے انہی weights سے کریں تو جوابات مختلف ہو سکتے ہیں، اس لیے اپنے پرامپٹس سے آزمائیں۔ BroadNet اپنے دوسرے ماڈلز کے ٹیمپلیٹ کی تفصیل شائع نہیں کرتا۔ GPU فلیٹ اور سرونگ پوسٹ Gemma سرونگ کے اس کے دوسرے فیصلے بتاتی ہے۔