BroadRouter
始める

チャットテンプレート(chat template)

更新日

チャットテンプレートとは、ロール付きのメッセージのリストを、制御トークンも含めてモデルが想定する 1 本のトークン列に変換する書式ルールです。通常は Jinja で書かれ、トークナイザーと一緒に配布されます。誤ったテンプレートでは回答の質が大幅に落ちます。

別名: チャットテンプレート、Jinja テンプレート、プロンプトテンプレート、chat_template、Jinja chat template、tokenizer chat template、chat template

チャットモデルが目にするのは、メッセージのリストではありません。1 本の長いトークン列です。その列がどんな形になるかを決めるのがチャットテンプレートです。

しくみ

Hugging Face のガイドは要点をこう述べています。因果言語モデルはすべて “continue a sequence of tokens”(訳:トークン列の続きを生成する)もので、渡したロールと内容の辞書は “get converted to a token sequence, often with control tokens”(訳:多くの場合、制御トークン付きのトークン列に変換される)。形式はモデルごとに異なり、“even if they were fine-tuned from the same base model”(訳:同じベースモデルからファインチューニングされたものであっても)違います。

同じ短いチャットを、ガイドにある 2 つのテンプレートで表現したものです。

Mistral-7B-Instruct:
<s>[INST] Hello, how are you? [/INST]I'm doing great. How can I help you today?</s>

Zephyr-7B:
<|user|>
Hello, how are you?</s>
<|assistant|>
I'm doing great. How can I help you today?</s>

Transformers では、tokenizer.apply_chat_template(messages, add_generation_prompt=True) でチャットを変換します。add_generation_prompt フラグは、アシスタントのターンを開始するトークンを加えます。ガイドによると、これがないとモデルは返信せずにユーザーのメッセージの続きを書くことがあります。

テンプレートはモデルの機能も担います。Google の Gemma 4 のモデルカードには、システムプロンプトの先頭に <|think|> トークンを置くと思考が有効になること、そして “many libraries like Transformers and llama.cpp handle the complexities of the chat template for you.”(訳:Transformers や llama.cpp など多くのライブラリが、チャットテンプレートの複雑な部分を代わりに処理してくれる)と書かれています。

なぜ重要か

  • 品質。 ガイドには “with the wrong control tokens, these models would have drastically worse performance.”(訳:制御トークンを間違えると、これらのモデルの性能は大幅に悪化する)とあります。
  • セルフホスト。 サービングエンジンがチャットのリクエストを受け付けるにはテンプレートが必要です。vLLM のドキュメントは、テンプレートがないと “all chat requests will error”(訳:すべてのチャットリクエストがエラーになる)とし、--chat-template で指定できるようにしています。vLLM を参照してください。
  • トークン数。 制御トークンも入力トークンとして数えられます。ローカルで数えた数と課金される数が違う理由は、記事「送信前にトークンを数える」で解説しています。
  • 特殊トークンの重複。 ガイドは、テンプレート適用後に <bos> や <eos> をもう一度加えることは “is often incorrect or duplicated, hurting model performance”(訳:誤りや重複になることが多く、モデルの性能を損なう)と注意しています。
  • システムプロンプトもその一部です。 システムメッセージがどこに入るか、そもそもモデルにシステムロールがあるかは、テンプレートが決めます。

BroadNet Inference の場合

BroadNet の API は OpenAI 互換の Chat Completions エンドポイントなので、messages を送れば BroadNet がテンプレートを適用します。生のテンプレートテキストを送る必要はありません。BroadNet は、Gemma 4 VL 26B を “BroadNet conversational chat template”(訳:BroadNet の会話用チャットテンプレート)で提供していると報告しています。これは同社の会話ワークフロー向けに調整したテンプレートです。BroadNet の Gemma と、同じ重みをローカルで動かしたものを比べると回答が異なる場合があるので、自分のプロンプトでテストしてください。BroadNet は、ほかのモデルのテンプレートの詳細は公開していません。Gemma に関するそのほかのサービングの選択は、GPU フリートとサービングの記事に載っています。

よくある質問

API を呼び出すとき、チャットテンプレートを自分で適用する必要はありますか?

ありません。Chat Completions API ではメッセージのリストを送り、事業者の側でテンプレートが適用されます。自分でテンプレートを扱うのは、モデルをローカルで動かすときや、生のテキスト補完エンドポイントを呼ぶときだけです。

自分で数えたトークン数が、事業者の数と違うのはなぜですか?

テンプレートが各メッセージの前後に制御トークンを加えるからです。メッセージのテキストだけを数えるとそれが抜けるので、課金されるプロンプトは通常少し大きくなります。

add_generation_prompt は何をしますか?

アシスタントのターンを開始するトークンを末尾に加え、モデルがメッセージの続きを書くのではなく返信するようにします。Hugging Face のドキュメントでは、ChatML 形式のテンプレートの末尾に付く <|im_start|>assistant として示されています。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く