Un modelo de chat nunca ve una lista de mensajes. Ve una única y larga secuencia de tokens. La plantilla de chat decide cómo es esa secuencia.
Cómo funciona
La guía de Hugging Face plantea lo esencial: todos los modelos de lenguaje causales “continue a sequence of tokens” (traducción: continúan una secuencia de tokens), y los diccionarios de rol y contenido que usted pasa “get converted to a token sequence, often with control tokens” (traducción: se convierten en una secuencia de tokens, a menudo con tokens de control). Cada modelo usa formatos distintos, “even if they were fine-tuned from the same base model” (traducción: incluso si se ajustaron a partir del mismo modelo base).
El mismo chat breve, renderizado por dos plantillas de la guía:
Mistral-7B-Instruct:
<s>[INST] Hello, how are you? [/INST]I'm doing great. How can I help you today?</s>
Zephyr-7B:
<|user|>
Hello, how are you?</s>
<|assistant|>
I'm doing great. How can I help you today?</s>
En Transformers, un chat se renderiza con tokenizer.apply_chat_template(messages, add_generation_prompt=True). La opción add_generation_prompt añade los tokens que abren un turno del asistente; sin ellos, advierte la guía, el modelo puede continuar el mensaje del usuario en lugar de responder.
Las plantillas también pueden incluir funciones del modelo. La ficha de Gemma 4 de Google dice que el modo de pensamiento se activa poniendo un token <|think|> al inicio del system prompt, y que “many libraries like Transformers and llama.cpp handle the complexities of the chat template for you.” (traducción: muchas bibliotecas como Transformers y llama.cpp se encargan por usted de las complejidades de la plantilla de chat).
Por qué importa
- Calidad. La guía dice que “with the wrong control tokens, these models would have drastically worse performance.” (traducción: con los tokens de control equivocados, estos modelos tendrían un rendimiento drásticamente peor).
- Autoalojamiento. Los motores de servicio necesitan una plantilla para aceptar solicitudes de chat. La documentación de vLLM dice que sin ella “all chat requests will error” (traducción: todas las solicitudes de chat darán error), y acepta
--chat-templatepara proporcionarla. Consulte vLLM. - Conteo de tokens. Los tokens de control cuentan como tokens de entrada. Nuestro artículo sobre contar tokens antes de enviar explica por qué difieren los conteos locales y los facturados.
- Tokens especiales duplicados. La guía advierte que añadir
<bos>o<eos>otra vez después de aplicar la plantilla “is often incorrect or duplicated, hurting model performance” (traducción: suele ser incorrecto o duplicado, y perjudica el rendimiento del modelo). - El system prompt forma parte de ella. Dónde queda el mensaje de sistema, y si el modelo tiene siquiera un rol de sistema, lo decide la plantilla.
En BroadNet Inference
La API de BroadNet es un endpoint de chat completions compatible con OpenAI, así que usted envía messages y BroadNet aplica la plantilla; no se envía texto de plantilla en bruto. BroadNet informa que sirve Gemma 4 VL 26B con una “BroadNet conversational chat template” (traducción: plantilla de chat conversacional de BroadNet), una plantilla ajustada a su flujo conversacional. Si compara el Gemma de BroadNet con los mismos pesos ejecutados localmente, las respuestas pueden diferir, así que pruebe con sus propios prompts. BroadNet no publica detalles de las plantillas de sus demás modelos. El artículo sobre la flota de GPUs y el servicio enumera sus otras decisiones de servicio para Gemma.