Bir sohbet modeli hiçbir zaman bir mesaj listesi görmez. Uzun tek bir token dizisi görür. O dizinin neye benzeyeceğine sohbet şablonu karar verir.
Nasıl çalışır
Hugging Face rehberi temel noktayı söyler: tüm nedensel dil modelleri “continue a sequence of tokens” (çeviri: bir token dizisini sürdürür) ve verdiğiniz rol ve içerik sözlükleri “get converted to a token sequence, often with control tokens” (çeviri: çoğu zaman kontrol token’larıyla birlikte bir token dizisine dönüştürülür). Farklı modeller, “even if they were fine-tuned from the same base model” (çeviri: aynı temel modelden ince ayarlanmış olsalar bile) farklı biçimler kullanır.
Rehberde aynı kısa sohbet iki şablonla şöyle oluşturulur:
Mistral-7B-Instruct:
<s>[INST] Hello, how are you? [/INST]I'm doing great. How can I help you today?</s>
Zephyr-7B:
<|user|>
Hello, how are you?</s>
<|assistant|>
I'm doing great. How can I help you today?</s>
Transformers’ta bir sohbeti tokenizer.apply_chat_template(messages, add_generation_prompt=True) ile oluşturursunuz. add_generation_prompt bayrağı bir asistan turunu açan token’ları ekler; rehber, bunlar olmadan modelin yanıt vermek yerine kullanıcının mesajını sürdürebileceği konusunda uyarır.
Şablonlar model özelliklerini de taşıyabilir. Google’ın Gemma 4 kartı, düşünme modunun sistem isteminin başına bir <|think|> token’ı konarak açıldığını ve “many libraries like Transformers and llama.cpp handle the complexities of the chat template for you.” (çeviri: Transformers ve llama.cpp gibi birçok kütüphane sohbet şablonunun karmaşıklığını sizin yerinize halleder.) olduğunu söyler.
Neden önemli
- Kalite. Rehber, “with the wrong control tokens, these models would have drastically worse performance.” (çeviri: yanlış kontrol token’larıyla bu modellerin performansı büyük ölçüde kötüleşir.) der.
- Kendi sunucunuzda barındırma. Sunum motorları sohbet isteklerini kabul etmek için bir şablona ihtiyaç duyar. vLLM belgeleri, şablon olmadan “all chat requests will error” (çeviri: tüm sohbet istekleri hata verir) der ve şablonu sağlamak için
--chat-templatekabul eder. Bkz. vLLM. - Token sayıları. Kontrol token’ları girdi token’ı olarak sayılır. Göndermeden önce token sayma yazımız yerel sayılarla faturalanan sayıların neden farklı olduğunu anlatır.
- Çift özel token’lar. Rehber, şablonlamadan sonra
<bos>veya<eos>eklemenin “is often incorrect or duplicated, hurting model performance” (çeviri: çoğu zaman yanlış veya tekrarlı olduğu ve model performansına zarar verdiği) konusunda uyarır. - Sistem istemi de bunun parçasıdır. Sistem mesajının nereye yerleşeceğine ve modelin bir sistem rolü olup olmadığına şablon karar verir.
BroadNet Inference’ta
BroadNet’in API’si OpenAI uyumlu bir chat completions uç noktasıdır; yani messages gönderirsiniz ve şablonu BroadNet uygular; ham şablon metni göndermezsiniz. BroadNet, Gemma 4 VL 26B modelini konuşma odaklı iş akışı için ayarlanmış bir şablon olan “BroadNet conversational chat template” (çeviri: BroadNet konuşma sohbet şablonu) ile sunduğunu bildirir. BroadNet’in Gemma’sını yerelde çalıştırılan aynı ağırlıklarla karşılaştırırsanız cevaplar farklı olabilir; bu yüzden kendi istemlerinizle test edin. BroadNet diğer modellerinin şablon ayrıntılarını yayımlamaz. GPU filosu ve sunum yazısı diğer Gemma sunum tercihlerini listeler.