نموذج المحادثة لا يرى قائمة رسائل أبدًا. بل يرى سلسلة طويلة واحدة من الرموز. وقالب المحادثة هو ما يحدد شكل هذه السلسلة.
كيف يعمل
يذكر دليل Hugging Face الفكرة الأساسية: كل نماذج اللغة السببية “continue a sequence of tokens” (ترجمة: تكمل تسلسلًا من الرموز)، وقواميس الدور والمحتوى التي تمرّرها “get converted to a token sequence, often with control tokens” (ترجمة: تُحوَّل إلى تسلسل رموز، غالبًا مع رموز تحكم). والنماذج المختلفة تستخدم صيغًا مختلفة “even if they were fine-tuned from the same base model” (ترجمة: حتى لو ضُبطت بالتدريب الدقيق من النموذج الأساسي نفسه).
المحادثة القصيرة نفسها كما يعرضها قالبان في الدليل:
Mistral-7B-Instruct:
<s>[INST] Hello, how are you? [/INST]I'm doing great. How can I help you today?</s>
Zephyr-7B:
<|user|>
Hello, how are you?</s>
<|assistant|>
I'm doing great. How can I help you today?</s>
في Transformers تُنسَّق المحادثة بالدالة tokenizer.apply_chat_template(messages, add_generation_prompt=True). ويضيف الخيار add_generation_prompt الرموز التي تفتح دور المساعد؛ وبدونها، كما يحذّر الدليل، قد يكمل النموذج رسالة المستخدم بدل أن يردّ.
ويمكن للقوالب أن تحمل ميزات النموذج أيضًا. فبطاقة Gemma 4 من Google تقول إن التفكير يُفعَّل بوضع الرمز <|think|> في بداية أمر النظام، وإن “many libraries like Transformers and llama.cpp handle the complexities of the chat template for you.” (ترجمة: كثيرًا من المكتبات مثل Transformers وllama.cpp تتولى عنك تعقيدات قالب المحادثة).
لماذا يهم
- الجودة. يقول الدليل إنه “with the wrong control tokens, these models would have drastically worse performance.” (ترجمة: مع رموز التحكم الخاطئة، سيكون أداء هذه النماذج أسوأ بكثير).
- الاستضافة الذاتية. تحتاج محركات التشغيل إلى قالب كي تقبل طلبات المحادثة. وتقول وثائق vLLM إنه بدون قالب “all chat requests will error” (ترجمة: ستفشل كل طلبات المحادثة بخطأ)، وتقبل الخيار
--chat-templateلتوفيره. راجع vLLM. - عدد الرموز. رموز التحكم تُحتسب رموزَ إدخال. ويشرح مقالنا عن عدّ الرموز قبل الإرسال لماذا يختلف العدد المحلي عن العدد المحتسب في الفاتورة.
- الرموز الخاصة المكررة. يحذّر الدليل من أن إضافة
<bos>أو<eos>مرة أخرى بعد تطبيق القالب “is often incorrect or duplicated, hurting model performance” (ترجمة: غالبًا ما تكون خاطئة أو مكررة، فتضر بأداء النموذج). - أمر النظام جزء منه. فالقالب هو ما يحدد أين تقع رسالة النظام، وهل للنموذج دور نظام أصلًا.
في BroadNet Inference
واجهة BroadNet نقطة نهاية chat completions متوافقة مع OpenAI، فترسل messages وتطبّق BroadNet القالب؛ ولا ترسل نص القالب الخام. وتُبلغ BroadNet أنها تقدّم Gemma 4 VL 26B بقالب “BroadNet conversational chat template” (ترجمة: قالب المحادثة الحواري من BroadNet)، وهو قالب مضبوط لسير عملها الحواري. وإن قارنت Gemma لدى BroadNet بالأوزان نفسها مشغّلة محليًا، فقد تختلف الإجابات، لذا اختبر بأوامرك أنت. ولا تنشر BroadNet تفاصيل القوالب لبقية نماذجها. ويسرد مقال أسطول GPU والتشغيل خياراتها الأخرى في تشغيل Gemma.