チャットモデルが目にするのは、メッセージのリストではありません。1 本の長いトークン列です。その列がどんな形になるかを決めるのがチャットテンプレートです。
しくみ
Hugging Face のガイドは要点をこう述べています。因果言語モデルはすべて “continue a sequence of tokens”(訳:トークン列の続きを生成する)もので、渡したロールと内容の辞書は “get converted to a token sequence, often with control tokens”(訳:多くの場合、制御トークン付きのトークン列に変換される)。形式はモデルごとに異なり、“even if they were fine-tuned from the same base model”(訳:同じベースモデルからファインチューニングされたものであっても)違います。
同じ短いチャットを、ガイドにある 2 つのテンプレートで表現したものです。
Mistral-7B-Instruct:
<s>[INST] Hello, how are you? [/INST]I'm doing great. How can I help you today?</s>
Zephyr-7B:
<|user|>
Hello, how are you?</s>
<|assistant|>
I'm doing great. How can I help you today?</s>
Transformers では、tokenizer.apply_chat_template(messages, add_generation_prompt=True) でチャットを変換します。add_generation_prompt フラグは、アシスタントのターンを開始するトークンを加えます。ガイドによると、これがないとモデルは返信せずにユーザーのメッセージの続きを書くことがあります。
テンプレートはモデルの機能も担います。Google の Gemma 4 のモデルカードには、システムプロンプトの先頭に <|think|> トークンを置くと思考が有効になること、そして “many libraries like Transformers and llama.cpp handle the complexities of the chat template for you.”(訳:Transformers や llama.cpp など多くのライブラリが、チャットテンプレートの複雑な部分を代わりに処理してくれる)と書かれています。
なぜ重要か
- 品質。 ガイドには “with the wrong control tokens, these models would have drastically worse performance.”(訳:制御トークンを間違えると、これらのモデルの性能は大幅に悪化する)とあります。
- セルフホスト。 サービングエンジンがチャットのリクエストを受け付けるにはテンプレートが必要です。vLLM のドキュメントは、テンプレートがないと “all chat requests will error”(訳:すべてのチャットリクエストがエラーになる)とし、
--chat-templateで指定できるようにしています。vLLM を参照してください。 - トークン数。 制御トークンも入力トークンとして数えられます。ローカルで数えた数と課金される数が違う理由は、記事「送信前にトークンを数える」で解説しています。
- 特殊トークンの重複。 ガイドは、テンプレート適用後に
<bos>や<eos>をもう一度加えることは “is often incorrect or duplicated, hurting model performance”(訳:誤りや重複になることが多く、モデルの性能を損なう)と注意しています。 - システムプロンプトもその一部です。 システムメッセージがどこに入るか、そもそもモデルにシステムロールがあるかは、テンプレートが決めます。
BroadNet Inference の場合
BroadNet の API は OpenAI 互換の Chat Completions エンドポイントなので、messages を送れば BroadNet がテンプレートを適用します。生のテンプレートテキストを送る必要はありません。BroadNet は、Gemma 4 VL 26B を “BroadNet conversational chat template”(訳:BroadNet の会話用チャットテンプレート)で提供していると報告しています。これは同社の会話ワークフロー向けに調整したテンプレートです。BroadNet の Gemma と、同じ重みをローカルで動かしたものを比べると回答が異なる場合があるので、自分のプロンプトでテストしてください。BroadNet は、ほかのモデルのテンプレートの詳細は公開していません。Gemma に関するそのほかのサービングの選択は、GPU フリートとサービングの記事に載っています。