BroadRouter
Loslegen

Chat-Template

Aktualisiert

Ein Chat-Template ist die Formatierungsregel, meist in Jinja geschrieben und mit dem Tokenizer eines Modells ausgeliefert, die eine Liste von Chat-Nachrichten mit Rollen in die eine Tokenfolge umwandelt, die das Modell erwartet, einschließlich seiner speziellen Steuer-Tokens. Ein falsches Template kann die Antworten eines Modells deutlich verschlechtern.

Auch genannt: Chat-Vorlage, Chat Template, chat_template, Jinja-Chat-Template, chat template, Jinja chat template, tokenizer chat template

Ein Chat-Modell sieht nie eine Liste von Nachrichten. Es sieht eine lange Folge von Tokens. Das Chat-Template entscheidet, wie diese Folge aussieht.

So funktioniert es

Der Leitfaden von Hugging Face nennt den Kern: Alle kausalen Sprachmodelle „continue a sequence of tokens“ (Übersetzung: „setzen eine Folge von Tokens fort“), und die Dictionaries mit Rolle und Inhalt, die Sie übergeben, „get converted to a token sequence, often with control tokens“ (Übersetzung: „werden in eine Tokenfolge umgewandelt, oft mit Steuer-Tokens“). Verschiedene Modelle nutzen verschiedene Formate, „even if they were fine-tuned from the same base model“ (Übersetzung: „selbst wenn sie vom selben Basismodell aus feinabgestimmt wurden“).

Derselbe kurze Chat, gerendert mit zwei Templates aus dem Leitfaden:

Mistral-7B-Instruct:
<s>[INST] Hello, how are you? [/INST]I'm doing great. How can I help you today?</s>

Zephyr-7B:
<|user|>
Hello, how are you?</s>
<|assistant|>
I'm doing great. How can I help you today?</s>

In Transformers rendern Sie einen Chat mit tokenizer.apply_chat_template(messages, add_generation_prompt=True). Das Flag add_generation_prompt fügt die Tokens hinzu, die einen Assistant-Turn eröffnen; ohne sie, warnt der Leitfaden, setzt das Modell womöglich die Nachricht des Nutzers fort, statt zu antworten.

Templates können auch Modellfunktionen transportieren. Die Model Card von Gemma 4 von Google sagt, dass Thinking eingeschaltet wird, indem man ein <|think|>-Token an den Anfang des System-Prompts setzt, und dass „many libraries like Transformers and llama.cpp handle the complexities of the chat template for you“ (Übersetzung: „viele Bibliotheken wie Transformers und llama.cpp die Feinheiten des Chat-Templates für Sie übernehmen“).

Warum es wichtig ist

  • Qualität. Der Leitfaden sagt: „with the wrong control tokens, these models would have drastically worse performance“ (Übersetzung: „mit den falschen Steuer-Tokens hätten diese Modelle eine drastisch schlechtere Leistung“).
  • Self-Hosting. Serving-Engines brauchen ein Template, um Chat-Anfragen anzunehmen. Die Dokumentation von vLLM sagt, ohne eines „all chat requests will error“ (Übersetzung: „schlagen alle Chat-Anfragen fehl“), und nimmt --chat-template an, um eines vorzugeben. Siehe vLLM.
  • Token-Zahlen. Steuer-Tokens zählen als Input-Tokens. Unser Beitrag zum Zählen von Tokens vor dem Senden erklärt, warum lokale und abgerechnete Zahlen abweichen.
  • Doppelte Spezial-Tokens. Der Leitfaden warnt, dass ein erneutes Hinzufügen von <bos> oder <eos> nach dem Templating „is often incorrect or duplicated, hurting model performance“ (Übersetzung: „oft falsch oder doppelt ist und die Leistung des Modells beeinträchtigt“).
  • Der System-Prompt gehört dazu. Wo die System-Nachricht landet und ob ein Modell überhaupt eine System-Rolle hat, entscheidet das Template.

Bei BroadNet Inference

Die API von BroadNet ist ein OpenAI-kompatibler Chat-Completions-Endpoint: Sie senden messages, und BroadNet wendet das Template an; rohen Template-Text senden Sie nicht. BroadNet berichtet, Gemma 4 VL 26B mit einem „BroadNet conversational chat template“ (Übersetzung: „konversationellen Chat-Template von BroadNet“) auszuliefern, einem Template, das auf seinen Konversations-Workflow abgestimmt ist. Wenn Sie Gemma bei BroadNet mit denselben, lokal betriebenen Gewichten vergleichen, können die Antworten abweichen; testen Sie also mit Ihren eigenen Prompts. Zu den Templates seiner anderen Modelle veröffentlicht BroadNet keine Details. Der Beitrag zu GPU-Flotte und Serving listet die weiteren Serving-Entscheidungen für Gemma auf.

Häufige Fragen

Muss ich beim Aufruf einer API ein Chat-Template anwenden?

Nein. Bei einer Chat-Completions-API senden Sie eine Liste von Nachrichten, und der Anbieter wendet das Template auf seiner Seite an. Selbst kümmern müssen Sie sich nur, wenn Sie ein Modell lokal betreiben oder einen reinen Text-Completion-Endpoint aufrufen.

Warum weichen meine Token-Zahlen von denen des Anbieters ab?

Das Template fügt um jede Nachricht Steuer-Tokens ein. Wer nur den Nachrichtentext zählt, übersieht sie; der abgerechnete Prompt ist daher meist etwas größer.

Was bewirkt add_generation_prompt?

Es hängt die Tokens an, die einen Assistant-Turn eröffnen, damit das Modell antwortet, statt Ihre Nachricht fortzusetzen. Die Dokumentation von Hugging Face zeigt das als abschließendes <|im_start|>assistant in Templates im ChatML-Stil.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen