Ein Chat-Modell sieht nie eine Liste von Nachrichten. Es sieht eine lange Folge von Tokens. Das Chat-Template entscheidet, wie diese Folge aussieht.
So funktioniert es
Der Leitfaden von Hugging Face nennt den Kern: Alle kausalen Sprachmodelle „continue a sequence of tokens“ (Übersetzung: „setzen eine Folge von Tokens fort“), und die Dictionaries mit Rolle und Inhalt, die Sie übergeben, „get converted to a token sequence, often with control tokens“ (Übersetzung: „werden in eine Tokenfolge umgewandelt, oft mit Steuer-Tokens“). Verschiedene Modelle nutzen verschiedene Formate, „even if they were fine-tuned from the same base model“ (Übersetzung: „selbst wenn sie vom selben Basismodell aus feinabgestimmt wurden“).
Derselbe kurze Chat, gerendert mit zwei Templates aus dem Leitfaden:
Mistral-7B-Instruct:
<s>[INST] Hello, how are you? [/INST]I'm doing great. How can I help you today?</s>
Zephyr-7B:
<|user|>
Hello, how are you?</s>
<|assistant|>
I'm doing great. How can I help you today?</s>
In Transformers rendern Sie einen Chat mit tokenizer.apply_chat_template(messages, add_generation_prompt=True). Das Flag add_generation_prompt fügt die Tokens hinzu, die einen Assistant-Turn eröffnen; ohne sie, warnt der Leitfaden, setzt das Modell womöglich die Nachricht des Nutzers fort, statt zu antworten.
Templates können auch Modellfunktionen transportieren. Die Model Card von Gemma 4 von Google sagt, dass Thinking eingeschaltet wird, indem man ein <|think|>-Token an den Anfang des System-Prompts setzt, und dass „many libraries like Transformers and llama.cpp handle the complexities of the chat template for you“ (Übersetzung: „viele Bibliotheken wie Transformers und llama.cpp die Feinheiten des Chat-Templates für Sie übernehmen“).
Warum es wichtig ist
- Qualität. Der Leitfaden sagt: „with the wrong control tokens, these models would have drastically worse performance“ (Übersetzung: „mit den falschen Steuer-Tokens hätten diese Modelle eine drastisch schlechtere Leistung“).
- Self-Hosting. Serving-Engines brauchen ein Template, um Chat-Anfragen anzunehmen. Die Dokumentation von vLLM sagt, ohne eines „all chat requests will error“ (Übersetzung: „schlagen alle Chat-Anfragen fehl“), und nimmt
--chat-templatean, um eines vorzugeben. Siehe vLLM. - Token-Zahlen. Steuer-Tokens zählen als Input-Tokens. Unser Beitrag zum Zählen von Tokens vor dem Senden erklärt, warum lokale und abgerechnete Zahlen abweichen.
- Doppelte Spezial-Tokens. Der Leitfaden warnt, dass ein erneutes Hinzufügen von
<bos>oder<eos>nach dem Templating „is often incorrect or duplicated, hurting model performance“ (Übersetzung: „oft falsch oder doppelt ist und die Leistung des Modells beeinträchtigt“). - Der System-Prompt gehört dazu. Wo die System-Nachricht landet und ob ein Modell überhaupt eine System-Rolle hat, entscheidet das Template.
Bei BroadNet Inference
Die API von BroadNet ist ein OpenAI-kompatibler Chat-Completions-Endpoint: Sie senden messages, und BroadNet wendet das Template an; rohen Template-Text senden Sie nicht. BroadNet berichtet, Gemma 4 VL 26B mit einem „BroadNet conversational chat template“ (Übersetzung: „konversationellen Chat-Template von BroadNet“) auszuliefern, einem Template, das auf seinen Konversations-Workflow abgestimmt ist. Wenn Sie Gemma bei BroadNet mit denselben, lokal betriebenen Gewichten vergleichen, können die Antworten abweichen; testen Sie also mit Ihren eigenen Prompts. Zu den Templates seiner anderen Modelle veröffentlicht BroadNet keine Details. Der Beitrag zu GPU-Flotte und Serving listet die weiteren Serving-Entscheidungen für Gemma auf.