BroadRouter
Начать

Шаблон чата (chat template)

Обновлено

Шаблон чата — это правило форматирования, обычно написанное на Jinja и поставляемое вместе с токенизатором модели, которое превращает список сообщений чата с ролями в единую последовательность токенов, ожидаемую моделью, включая её специальные управляющие токены. Неверный шаблон может резко ухудшить ответы модели.

Также называют: шаблон чата, чат-шаблон, шаблон диалога, шаблон промпта, chat template, chat_template, Jinja chat template, tokenizer chat template

Чат-модель никогда не видит список сообщений. Она видит одну длинную последовательность токенов. Как эта последовательность выглядит, решает шаблон чата.

Как это работает

Руководство Hugging Face формулирует главное: все каузальные языковые модели “continue a sequence of tokens” (перевод: «продолжают последовательность токенов»), а словари с ролью и содержимым, которые вы передаёте, “get converted to a token sequence, often with control tokens” (перевод: «преобразуются в последовательность токенов, часто с управляющими токенами»). Разные модели используют разные форматы, “even if they were fine-tuned from the same base model” (перевод: «даже если они дообучены из одной и той же базовой модели»).

Один и тот же короткий чат, отрисованный двумя шаблонами из руководства:

Mistral-7B-Instruct:
<s>[INST] Hello, how are you? [/INST]I'm doing great. How can I help you today?</s>

Zephyr-7B:
<|user|>
Hello, how are you?</s>
<|assistant|>
I'm doing great. How can I help you today?</s>

В Transformers чат отрисовывается вызовом tokenizer.apply_chat_template(messages, add_generation_prompt=True). Флаг add_generation_prompt добавляет токены, открывающие ход ассистента; без них, как предупреждает руководство, модель может продолжить сообщение пользователя вместо ответа.

Шаблоны могут нести и функции модели. В карточке Gemma 4 от Google сказано, что режим размышлений включается токеном <|think|> в начале системного промпта и что “many libraries like Transformers and llama.cpp handle the complexities of the chat template for you.” (перевод: «многие библиотеки, например Transformers и llama.cpp, берут сложности шаблона чата на себя».)

Почему это важно

  • Качество. Руководство говорит, что “with the wrong control tokens, these models would have drastically worse performance.” (перевод: «с неверными управляющими токенами эти модели работали бы резко хуже».)
  • Самостоятельный хостинг. Движкам обслуживания нужен шаблон, чтобы принимать чат-запросы. Документация vLLM говорит, что без него “all chat requests will error” (перевод: «все чат-запросы будут завершаться ошибкой»), и позволяет передать его через --chat-template. См. vLLM.
  • Подсчёт токенов. Управляющие токены считаются входными токенами. Почему локальный подсчёт расходится с оплачиваемым, объясняет наша статья о подсчёте токенов перед отправкой.
  • Двойные специальные токены. Руководство предупреждает, что повторное добавление <bos> или <eos> после применения шаблона “is often incorrect or duplicated, hurting model performance” (перевод: «часто ошибочно или дублируется, что ухудшает работу модели»).
  • Системный промпт — тоже часть шаблона. Куда попадает системное сообщение и есть ли у модели системная роль вообще, решает шаблон.

В BroadNet Inference

API BroadNet — это OpenAI-совместимый эндпоинт chat completions: вы отправляете messages, а шаблон применяет BroadNet; сырой текст шаблона вы не отправляете. BroadNet сообщает, что обслуживает Gemma 4 VL 26B с “BroadNet conversational chat template” (перевод: «диалоговым шаблоном чата BroadNet») — шаблоном, настроенным под её диалоговый сценарий. Если сравнивать Gemma в BroadNet с теми же весами, запущенными локально, ответы могут различаться, поэтому тестируйте на своих промптах. Подробностей о шаблонах остальных моделей BroadNet не публикует. Другие решения BroadNet по обслуживанию Gemma перечислены в статье о парке GPU и обслуживании моделей.

Вопросы и ответы

Нужно ли применять шаблон чата при вызове API?

Нет. В API chat completions вы отправляете список messages, а провайдер применяет шаблон на своей стороне. Заниматься шаблонами самому приходится, только когда вы запускаете модель локально или вызываете «сырой» эндпоинт text completion.

Почему мой подсчёт токенов расходится с подсчётом провайдера?

Шаблон добавляет управляющие токены вокруг каждого сообщения. Если считать только текст сообщений, их не учесть, поэтому оплачиваемый промпт обычно немного больше.

Что делает add_generation_prompt?

Добавляет токены, которые открывают ход ассистента, чтобы модель ответила, а не продолжила ваше сообщение. В документации Hugging Face для шаблонов в стиле ChatML это показано как <|im_start|>assistant в конце.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity