BroadRouter
Mulakan

Templat chat (chat template)

Dikemas kini

Templat chat ialah peraturan pemformatan, biasanya ditulis dalam Jinja dan disertakan bersama tokenizer model, yang menukar senarai mesej chat berserta peranannya kepada satu jujukan token yang dijangka oleh model, termasuk token kawalan khasnya. Templat yang salah boleh merosotkan jawapan model dengan teruk.

Juga dikenali sebagai: chat template, chat_template, templat chat, Jinja chat template, tokenizer chat template, format prompt

Model chat tidak pernah melihat senarai mesej. Ia melihat satu jujukan token yang panjang. Templat chat menentukan rupa jujukan itu.

Cara ia berfungsi

Panduan Hugging Face menyatakan perkara utamanya: semua causal language model “continue a sequence of tokens” (Terjemahan BroadRouter: “menyambung jujukan token”), dan kamus role dan content yang anda hantar “get converted to a token sequence, often with control tokens” (Terjemahan BroadRouter: “ditukar kepada jujukan token, selalunya dengan token kawalan”). Model berbeza menggunakan format berbeza, “even if they were fine-tuned from the same base model” (Terjemahan BroadRouter: “walaupun ditala halus daripada model asas yang sama”).

Chat pendek yang sama, dipaparkan oleh dua templat dalam panduan itu:

Mistral-7B-Instruct:
<s>[INST] Hello, how are you? [/INST]I'm doing great. How can I help you today?</s>

Zephyr-7B:
<|user|>
Hello, how are you?</s>
<|assistant|>
I'm doing great. How can I help you today?</s>

Dalam Transformers, anda memaparkan chat dengan tokenizer.apply_chat_template(messages, add_generation_prompt=True). Flag add_generation_prompt menambah token yang membuka giliran assistant; tanpanya, panduan itu memberi amaran, model mungkin menyambung mesej pengguna dan bukannya menjawab.

Templat juga boleh membawa ciri model. Kad Gemma 4 Google menyatakan mod berfikir (thinking) dihidupkan dengan meletakkan token <|think|> di permulaan system prompt, dan “many libraries like Transformers and llama.cpp handle the complexities of the chat template for you.” (Terjemahan BroadRouter: “banyak library seperti Transformers dan llama.cpp mengendalikan kerumitan templat chat untuk anda.”)

Mengapa ia penting

  • Kualiti. Panduan itu menyatakan bahawa “with the wrong control tokens, these models would have drastically worse performance.” (Terjemahan BroadRouter: “dengan token kawalan yang salah, prestasi model ini akan jauh lebih teruk.”)
  • Self-hosting. Enjin penyajian memerlukan templat untuk menerima permintaan chat. Dokumentasi vLLM menyatakan tanpanya “all chat requests will error” (Terjemahan BroadRouter: “semua permintaan chat akan menghasilkan ralat”), dan menerima --chat-template untuk membekalkannya. Lihat vLLM.
  • Kiraan token. Token kawalan dikira sebagai token input. Artikel kami tentang mengira token sebelum menghantar menerangkan mengapa kiraan setempat dan kiraan yang dibilkan berbeza.
  • Token khas berganda. Panduan itu memberi amaran bahawa menambah <bos> atau <eos> sekali lagi selepas templat digunakan “is often incorrect or duplicated, hurting model performance” (Terjemahan BroadRouter: “selalunya salah atau berganda, menjejaskan prestasi model”).
  • System prompt ialah sebahagian daripadanya. Di mana mesej system diletakkan, dan sama ada model mempunyai peranan system langsung, ditentukan oleh templat.

Di BroadNet Inference

API BroadNet ialah endpoint chat completions yang serasi OpenAI, jadi anda menghantar messages dan BroadNet menggunakan templatnya; anda tidak menghantar teks templat mentah. BroadNet melaporkan bahawa ia menyajikan Gemma 4 VL 26B dengan “BroadNet conversational chat template”, iaitu templat yang ditala untuk aliran kerja perbualannya. Jika anda membandingkan Gemma BroadNet dengan pemberat yang sama yang dijalankan secara setempat, jawapannya mungkin berbeza, jadi uji dengan prompt anda sendiri. BroadNet tidak menerbitkan butiran templat untuk model lainnya. Artikel armada GPU dan penyajian menyenaraikan pilihan penyajian Gemma yang lain.

Soalan lazim

Perlukah saya menggunakan templat chat apabila memanggil API?

Tidak. Dengan API chat completions, anda menghantar senarai messages dan penyedia menggunakan templat di pihaknya. Anda hanya mengendalikan templat sendiri apabila menjalankan model secara setempat atau memanggil endpoint text-completion mentah.

Mengapakah kiraan token saya berbeza daripada kiraan penyedia?

Templat menambah token kawalan di sekeliling setiap mesej. Mengira teks mesej anda sahaja terlepas token tersebut, jadi prompt yang dibilkan biasanya sedikit lebih besar.

Apakah fungsi add_generation_prompt?

Ia menambah token yang memulakan giliran assistant, supaya model menjawab dan bukannya menyambung mesej anda. Dokumentasi Hugging Face menunjukkannya sebagai <|im_start|>assistant di hujung templat gaya ChatML.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity