La ventana de contexto es la memoria de trabajo de un modelo para una solicitud. Todo lo que el modelo necesita ver, y todo lo que escribe de vuelta, tiene que caber dentro.
Cómo funciona
La ventana se mide en tokens. La documentación de Anthropic la describe como “all the text a language model can reference when generating a response, including the response itself” (traducción: todo el texto al que un modelo de lenguaje puede hacer referencia al generar una respuesta, incluida la propia respuesta). Eso incluye:
- el prompt de sistema y cada mensaje, incluidos los turnos anteriores;
- las definiciones de herramientas y sus resultados;
- documentos e imágenes;
- la salida, incluidos los tokens de razonamiento ocultos.
Así que el presupuesto es compartido. Con una ventana de 1,048,576 tokens, un prompt de 1,040,000 tokens deja unos 8,000 tokens para el razonamiento y la respuesta. Configure max_tokens teniendo eso en cuenta.
El modelo no recuerda solicitudes anteriores. Un chat parece continuo solo porque el cliente reenvía el historial en cada turno, así que una conversación larga llena la ventana paso a paso.
Por qué importa
- Capacidad. Una ventana grande permite que una sola solicitud contenga todo un código fuente, un conjunto de contratos u horas de transcripciones, para que el modelo conecte datos entre ellos.
- Costo. Cada token de la ventana se factura como entrada en una clave por token. El caché reduce el precio de los prefijos repetidos, pero los tokens en caché siguen ocupando la ventana.
- Calidad. Más no siempre es mejor. Anthropic llama “context rot” (deterioro del contexto) a la pérdida de precisión en prompts muy largos. Seleccione lo que envía.
- Latencia. Los prompts largos tardan más antes de que aparezca el primer token.
En BroadNet Inference
| Modelo | Ventana de contexto |
|---|---|
| DeepSeek V4.1 Flash | 1,048,576 tokens |
| GLM 5.3 | 1,048,576 tokens |
| Qwen3.8 27B | 262,144 tokens |
| BroadNet Gemma 4 VL 26B | 32,768 tokens |
La ventana cubre el prompt y la respuesta juntos, y BroadNet no recorta su contexto. DeepSeek V4.1 Flash, GLM 5.3 y Qwen3.8 27B razonan antes de responder, así que deje margen: una ventana llena con un presupuesto de salida pequeño devuelve una respuesta vacía. Consulte por qué los modelos de razonamiento devuelven respuestas vacías.
Los planes ilimitados incluyen la ventana completa de 1M de tokens en DeepSeek V4.1 Flash. Para saber cuándo tanto contexto supera a la recuperación de información, lea la guía de la ventana de contexto de 1M de tokens.
Errores comunes
- Tratar la ventana como la longitud de la salida. Los límites de salida se configuran por separado con
max_tokens. - Reenviar el historial completo indefinidamente. Resuma o descarte los turnos antiguos antes de que la ventana se llene.