Hindi kailanman nakakakita ang chat model ng listahan ng mensahe. Isang mahabang hanay ng token ang nakikita nito. Ang chat template ang nagpapasya kung ano ang itsura ng hanay na iyon.
Paano ito gumagana
Sinasabi ng gabay ng Hugging Face ang pangunahing punto: lahat ng causal language model ay “continue a sequence of tokens” (Salin ng BroadRouter: “nagpapatuloy ng sequence ng token”), at ang mga role at content dictionary na ipinapasa mo ay “get converted to a token sequence, often with control tokens” (Salin ng BroadRouter: “kino-convert sa token sequence, kadalasang may control tokens”). Iba-ibang format ang gamit ng iba’t ibang model, “even if they were fine-tuned from the same base model” (Salin ng BroadRouter: “kahit na-fine-tune pa sila mula sa parehong base model”).
Ang parehong maikling chat, ayon sa pag-render ng dalawang template sa gabay:
Mistral-7B-Instruct:
<s>[INST] Hello, how are you? [/INST]I'm doing great. How can I help you today?</s>
Zephyr-7B:
<|user|>
Hello, how are you?</s>
<|assistant|>
I'm doing great. How can I help you today?</s>
Sa Transformers, nire-render mo ang chat gamit ang tokenizer.apply_chat_template(messages, add_generation_prompt=True). Idinadagdag ng flag na add_generation_prompt ang mga token na nagbubukas ng assistant turn; kung wala ang mga ito, babala ng gabay, puwedeng ituloy ng model ang mensahe ng user sa halip na sumagot.
Puwede ring magdala ng mga feature ng model ang template. Ayon sa card ng Gemma 4 ng Google, binubuksan ang thinking sa paglalagay ng <|think|> token sa simula ng system prompt, at “many libraries like Transformers and llama.cpp handle the complexities of the chat template for you.” (Salin ng BroadRouter: “maraming library gaya ng Transformers at llama.cpp ang humahawak sa pagiging komplikado ng chat template para sa iyo.”)
Bakit ito mahalaga
- Kalidad. Sabi ng gabay, “with the wrong control tokens, these models would have drastically worse performance.” (Salin ng BroadRouter: “kapag mali ang control tokens, lubhang sasama ang performance ng mga model na ito.”)
- Self-hosting. Kailangan ng template ang mga serving engine para tumanggap ng chat request. Sabi ng docs ng vLLM, kapag wala ito, “all chat requests will error” (Salin ng BroadRouter: “mag-e-error ang lahat ng chat request”), at tumatanggap ito ng
--chat-templatepara magbigay nito. Tingnan ang vLLM. - Bilang ng token. Binibilang bilang input token ang control tokens. Saklaw ng post namin tungkol sa pagbibilang ng token bago magpadala kung bakit nagkakaiba ang lokal na bilang at ang sinisingil na bilang.
- Dobleng special tokens. Babala ng gabay na ang muling pagdagdag ng
<bos>o<eos>pagkatapos ng templating ay “is often incorrect or duplicated, hurting model performance” (Salin ng BroadRouter: “kadalasang mali o nadodoble, na nakasasama sa performance ng model”). - Bahagi nito ang system prompt. Ang template ang nagpapasya kung saan napupunta ang system message, at kung may system role ba ang model.
Sa BroadNet Inference
Ang API ng BroadNet ay isang OpenAI-compatible na chat completions endpoint, kaya messages ang ipinapadala mo at ang BroadNet ang nag-a-apply ng template; hindi ka nagpapadala ng raw na template text. Iniulat ng BroadNet na sine-serve nito ang Gemma 4 VL 26B gamit ang “BroadNet conversational chat template”, isang template na inayon sa conversational workflow nito. Kung ikukumpara mo ang Gemma ng BroadNet sa parehong weights na pinatakbo nang lokal, puwedeng magkaiba ang mga sagot, kaya subukan gamit ang sarili mong mga prompt. Hindi inilalathala ng BroadNet ang detalye ng template ng iba nitong model. Nakalista sa post tungkol sa GPU fleet at serving ang iba pang serving choice nito para sa Gemma.