Un modello di chat non vede mai una lista di messaggi. Vede un’unica lunga sequenza di token. È il chat template a decidere come è fatta.
Come funziona
La guida di Hugging Face fissa il punto chiave: tutti i modelli linguistici causali “continue a sequence of tokens” (traduzione: continuano una sequenza di token), e i dizionari di ruolo e contenuto che passi “get converted to a token sequence, often with control tokens” (traduzione: vengono convertiti in una sequenza di token, spesso con token di controllo). Modelli diversi usano formati diversi, “even if they were fine-tuned from the same base model” (traduzione: anche se hanno subito il fine-tuning a partire dallo stesso modello base).
La stessa breve chat, resa da due template nella guida:
Mistral-7B-Instruct:
<s>[INST] Hello, how are you? [/INST]I'm doing great. How can I help you today?</s>
Zephyr-7B:
<|user|>
Hello, how are you?</s>
<|assistant|>
I'm doing great. How can I help you today?</s>
In Transformers rendi una chat con tokenizer.apply_chat_template(messages, add_generation_prompt=True). Il flag add_generation_prompt aggiunge i token che aprono un turno dell’assistente; senza di essi, avverte la guida, il modello potrebbe continuare il messaggio dell’utente invece di rispondere.
I template possono anche attivare funzioni del modello. La card di Gemma 4 di Google dice che il thinking si attiva mettendo un token <|think|> all’inizio del system prompt, e che “many libraries like Transformers and llama.cpp handle the complexities of the chat template for you.” (traduzione: molte librerie come Transformers e llama.cpp gestiscono per te le complessità del chat template.)
Perché è importante
- Qualità. La guida dice che “with the wrong control tokens, these models would have drastically worse performance.” (traduzione: con i token di controllo sbagliati, questi modelli avrebbero prestazioni drasticamente peggiori.)
- Self-hosting. I motori di serving hanno bisogno di un template per accettare richieste di chat. La documentazione di vLLM dice che senza “all chat requests will error” (traduzione: tutte le richieste di chat andranno in errore), e accetta
--chat-templateper fornirlo. Vedi vLLM. - Conteggio dei token. I token di controllo contano come token di input. Il nostro post su come contare i token prima di inviare spiega perché i conteggi locali e quelli fatturati differiscono.
- Token speciali doppi. La guida avverte che aggiungere di nuovo
<bos>o<eos>dopo il template “is often incorrect or duplicated, hurting model performance” (traduzione: spesso è scorretto o li duplica, danneggiando le prestazioni del modello). - Il system prompt ne fa parte. Dove finisce il messaggio di sistema, e se un modello ha proprio un ruolo di sistema, lo decide il template.
Su BroadNet Inference
L’API di BroadNet è un endpoint di chat completions compatibile con OpenAI, quindi invii messages e il template lo applica BroadNet; non invii testo di template grezzo. BroadNet riferisce di servire Gemma 4 VL 26B con un “BroadNet conversational chat template”, un template ottimizzato per il suo flusso conversazionale. Se confronti il Gemma di BroadNet con gli stessi pesi eseguiti in locale, le risposte possono differire, quindi fai prove con i tuoi prompt. BroadNet non pubblica i dettagli del template per gli altri modelli. Il post sulla flotta GPU e sul serving elenca le altre scelte di serving per Gemma.