BroadRouter
Comenzar

Plantilla de chat (chat template)

Actualizado

Una plantilla de chat es la regla de formato, normalmente escrita en Jinja e incluida con el tokenizador de un modelo, que convierte una lista de mensajes de chat con roles en la única secuencia de tokens que el modelo espera, incluidos sus tokens de control especiales. Usar la plantilla equivocada puede empeorar mucho las respuestas del modelo.

También llamado: plantilla de chat, plantillas de chat, plantilla Jinja de chat, formato de chat, chat template, chat_template, Jinja chat template, tokenizer chat template

Un modelo de chat nunca ve una lista de mensajes. Ve una única y larga secuencia de tokens. La plantilla de chat decide cómo es esa secuencia.

Cómo funciona

La guía de Hugging Face plantea lo esencial: todos los modelos de lenguaje causales “continue a sequence of tokens” (traducción: continúan una secuencia de tokens), y los diccionarios de rol y contenido que usted pasa “get converted to a token sequence, often with control tokens” (traducción: se convierten en una secuencia de tokens, a menudo con tokens de control). Cada modelo usa formatos distintos, “even if they were fine-tuned from the same base model” (traducción: incluso si se ajustaron a partir del mismo modelo base).

El mismo chat breve, renderizado por dos plantillas de la guía:

Mistral-7B-Instruct:
<s>[INST] Hello, how are you? [/INST]I'm doing great. How can I help you today?</s>

Zephyr-7B:
<|user|>
Hello, how are you?</s>
<|assistant|>
I'm doing great. How can I help you today?</s>

En Transformers, un chat se renderiza con tokenizer.apply_chat_template(messages, add_generation_prompt=True). La opción add_generation_prompt añade los tokens que abren un turno del asistente; sin ellos, advierte la guía, el modelo puede continuar el mensaje del usuario en lugar de responder.

Las plantillas también pueden incluir funciones del modelo. La ficha de Gemma 4 de Google dice que el modo de pensamiento se activa poniendo un token <|think|> al inicio del system prompt, y que “many libraries like Transformers and llama.cpp handle the complexities of the chat template for you.” (traducción: muchas bibliotecas como Transformers y llama.cpp se encargan por usted de las complejidades de la plantilla de chat).

Por qué importa

  • Calidad. La guía dice que “with the wrong control tokens, these models would have drastically worse performance.” (traducción: con los tokens de control equivocados, estos modelos tendrían un rendimiento drásticamente peor).
  • Autoalojamiento. Los motores de servicio necesitan una plantilla para aceptar solicitudes de chat. La documentación de vLLM dice que sin ella “all chat requests will error” (traducción: todas las solicitudes de chat darán error), y acepta --chat-template para proporcionarla. Consulte vLLM.
  • Conteo de tokens. Los tokens de control cuentan como tokens de entrada. Nuestro artículo sobre contar tokens antes de enviar explica por qué difieren los conteos locales y los facturados.
  • Tokens especiales duplicados. La guía advierte que añadir <bos> o <eos> otra vez después de aplicar la plantilla “is often incorrect or duplicated, hurting model performance” (traducción: suele ser incorrecto o duplicado, y perjudica el rendimiento del modelo).
  • El system prompt forma parte de ella. Dónde queda el mensaje de sistema, y si el modelo tiene siquiera un rol de sistema, lo decide la plantilla.

En BroadNet Inference

La API de BroadNet es un endpoint de chat completions compatible con OpenAI, así que usted envía messages y BroadNet aplica la plantilla; no se envía texto de plantilla en bruto. BroadNet informa que sirve Gemma 4 VL 26B con una “BroadNet conversational chat template” (traducción: plantilla de chat conversacional de BroadNet), una plantilla ajustada a su flujo conversacional. Si compara el Gemma de BroadNet con los mismos pesos ejecutados localmente, las respuestas pueden diferir, así que pruebe con sus propios prompts. BroadNet no publica detalles de las plantillas de sus demás modelos. El artículo sobre la flota de GPUs y el servicio enumera sus otras decisiones de servicio para Gemma.

Preguntas frecuentes

¿Tengo que aplicar una plantilla de chat cuando llamo a una API?

No. Con una API de chat completions usted envía una lista de mensajes y el proveedor aplica la plantilla de su lado. Solo tiene que manejar plantillas cuando ejecuta un modelo localmente o llama a un endpoint de completado de texto en bruto.

¿Por qué mis conteos de tokens difieren de los del proveedor?

La plantilla añade tokens de control alrededor de cada mensaje. Si cuenta solo el texto de sus mensajes, no los incluye, así que el prompt facturado suele ser algo mayor.

¿Qué hace add_generation_prompt?

Añade los tokens que inician un turno del asistente, para que el modelo responda en lugar de continuar su mensaje. La documentación de Hugging Face lo muestra como un <|im_start|>assistant final en las plantillas de estilo ChatML.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity