Model chat không bao giờ nhìn thấy một danh sách message. Nó nhìn thấy một chuỗi token dài. Chat template quyết định chuỗi đó trông thế nào.
Cách hoạt động
Hướng dẫn của Hugging Face nêu ý chính: mọi model ngôn ngữ nhân quả đều “continue a sequence of tokens” (Bản dịch: viết tiếp một chuỗi token), và các dictionary vai trò, nội dung bạn truyền vào “get converted to a token sequence, often with control tokens” (Bản dịch: được chuyển thành chuỗi token, thường kèm token điều khiển). Mỗi model dùng một định dạng khác nhau, “even if they were fine-tuned from the same base model” (Bản dịch: kể cả khi chúng được fine-tune từ cùng một model gốc).
Cùng một đoạn chat ngắn, được hai template trong hướng dẫn hiển thị:
Mistral-7B-Instruct:
<s>[INST] Hello, how are you? [/INST]I'm doing great. How can I help you today?</s>
Zephyr-7B:
<|user|>
Hello, how are you?</s>
<|assistant|>
I'm doing great. How can I help you today?</s>
Trong Transformers, bạn hiển thị đoạn chat bằng tokenizer.apply_chat_template(messages, add_generation_prompt=True). Cờ add_generation_prompt thêm các token mở lượt của assistant; hướng dẫn cảnh báo rằng thiếu chúng, model có thể viết tiếp message của người dùng thay vì trả lời.
Template cũng có thể mang tính năng của model. Model card Gemma 4 của Google cho biết chế độ thinking được bật bằng cách đặt token <|think|> ở đầu system prompt, và rằng “many libraries like Transformers and llama.cpp handle the complexities of the chat template for you.” (Bản dịch: nhiều thư viện như Transformers và llama.cpp xử lý giúp bạn những phức tạp của chat template.)
Vì sao quan trọng
- Chất lượng. Hướng dẫn nói rằng “with the wrong control tokens, these models would have drastically worse performance.” (Bản dịch: với token điều khiển sai, các model này sẽ hoạt động kém đi rất nhiều.)
- Tự host. Engine phục vụ cần template để nhận request chat. Tài liệu vLLM nói thiếu template thì “all chat requests will error” (Bản dịch: mọi request chat sẽ báo lỗi), và cho phép dùng
--chat-templateđể cung cấp. Xem vLLM. - Số token. Token điều khiển được tính là token đầu vào. Bài viết về đếm token trước khi gửi giải thích vì sao số đếm cục bộ và số bị tính tiền khác nhau.
- Token đặc biệt bị lặp. Hướng dẫn cảnh báo rằng thêm
<bos>hoặc<eos>lần nữa sau khi áp dụng template “is often incorrect or duplicated, hurting model performance” (Bản dịch: thường sai hoặc bị trùng, làm giảm hiệu năng model). - System prompt cũng là một phần của nó. System message nằm ở đâu, và model có vai trò system hay không, đều do template quyết định.
Trên BroadNet Inference
API của BroadNet là endpoint chat completions tương thích OpenAI, nên bạn gửi messages và BroadNet áp dụng template; bạn không gửi văn bản template thô. BroadNet cho biết họ phục vụ Gemma 4 VL 26B với một “BroadNet conversational chat template” (Bản dịch: chat template hội thoại của BroadNet), một template được tinh chỉnh cho quy trình hội thoại của họ. Nếu bạn so Gemma của BroadNet với cùng trọng số chạy cục bộ, câu trả lời có thể khác nhau, nên hãy thử với prompt của chính bạn. BroadNet không công bố chi tiết template cho các model khác. Bài viết về đội GPU và cách phục vụ liệt kê các lựa chọn phục vụ khác cho Gemma.