BroadRouter
Comenzar

Ventana de contexto (context window)

Actualizado

La ventana de contexto es la cantidad máxima de tokens con la que un modelo de lenguaje puede trabajar en una sola solicitud. Incluye el prompt, el historial de la conversación, las definiciones de herramientas, las imágenes y la salida generada, incluidos los tokens de razonamiento. Lo que no cabe debe recortarse, resumirse o dividirse en varias solicitudes.

También llamado: ventana de contexto, longitud de contexto, tamaño de contexto, límite de tokens, límite de contexto, context window, context length, context size, token limit, context limit

La ventana de contexto es la memoria de trabajo de un modelo para una solicitud. Todo lo que el modelo necesita ver, y todo lo que escribe de vuelta, tiene que caber dentro.

Cómo funciona

La ventana se mide en tokens. La documentación de Anthropic la describe como “all the text a language model can reference when generating a response, including the response itself” (traducción: todo el texto al que un modelo de lenguaje puede hacer referencia al generar una respuesta, incluida la propia respuesta). Eso incluye:

  • el prompt de sistema y cada mensaje, incluidos los turnos anteriores;
  • las definiciones de herramientas y sus resultados;
  • documentos e imágenes;
  • la salida, incluidos los tokens de razonamiento ocultos.

Así que el presupuesto es compartido. Con una ventana de 1,048,576 tokens, un prompt de 1,040,000 tokens deja unos 8,000 tokens para el razonamiento y la respuesta. Configure max_tokens teniendo eso en cuenta.

El modelo no recuerda solicitudes anteriores. Un chat parece continuo solo porque el cliente reenvía el historial en cada turno, así que una conversación larga llena la ventana paso a paso.

Por qué importa

  • Capacidad. Una ventana grande permite que una sola solicitud contenga todo un código fuente, un conjunto de contratos u horas de transcripciones, para que el modelo conecte datos entre ellos.
  • Costo. Cada token de la ventana se factura como entrada en una clave por token. El caché reduce el precio de los prefijos repetidos, pero los tokens en caché siguen ocupando la ventana.
  • Calidad. Más no siempre es mejor. Anthropic llama “context rot” (deterioro del contexto) a la pérdida de precisión en prompts muy largos. Seleccione lo que envía.
  • Latencia. Los prompts largos tardan más antes de que aparezca el primer token.

En BroadNet Inference

Modelo Ventana de contexto
DeepSeek V4.1 Flash 1,048,576 tokens
GLM 5.3 1,048,576 tokens
Qwen3.8 27B 262,144 tokens
BroadNet Gemma 4 VL 26B 32,768 tokens

La ventana cubre el prompt y la respuesta juntos, y BroadNet no recorta su contexto. DeepSeek V4.1 Flash, GLM 5.3 y Qwen3.8 27B razonan antes de responder, así que deje margen: una ventana llena con un presupuesto de salida pequeño devuelve una respuesta vacía. Consulte por qué los modelos de razonamiento devuelven respuestas vacías.

Los planes ilimitados incluyen la ventana completa de 1M de tokens en DeepSeek V4.1 Flash. Para saber cuándo tanto contexto supera a la recuperación de información, lea la guía de la ventana de contexto de 1M de tokens.

Errores comunes

  • Tratar la ventana como la longitud de la salida. Los límites de salida se configuran por separado con max_tokens.
  • Reenviar el historial completo indefinidamente. Resuma o descarte los turnos antiguos antes de que la ventana se llene.

Preguntas frecuentes

¿Qué pasa si mi prompt es más largo que la ventana de contexto?

La API rechaza la solicitud, normalmente con un error 400. Anthropic, por ejemplo, devuelve "prompt is too long" (traducción: el prompt es demasiado largo). Algunas apps de chat recortan los mensajes antiguos por usted; la mayoría de las APIs no lo hace.

¿Una ventana de contexto más grande siempre es mejor?

No. Los prompts largos cuestan más y tardan más en procesarse, y Anthropic señala que la precisión y la recuperación pueden degradarse a medida que crece la cantidad de tokens. Envíe lo que la tarea necesita.

¿BroadNet recorta mi contexto?

No. BroadNet Inference no recorta su contexto. Si la solicitud no cabe, acórtela usted.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity