Un prompt es lo que usted escribe una vez. El contexto es todo lo que el modelo ve en cada turno, y en un agente cambia en cada turno.
Cómo funciona
El artículo de ingeniería de Anthropic describe la ingeniería de contexto como “the set of strategies for curating and maintaining the optimal set of tokens” (traducción: el conjunto de estrategias para seleccionar y mantener el conjunto óptimo de tokens) durante la inferencia, incluida la información que va más allá del prompt. Fija como objetivo encontrar el “smallest possible set of high-signal tokens” (traducción: el conjunto de tokens de alta señal más pequeño posible) que haga probable el resultado deseado.
La razón es que la atención es limitada. El artículo dice que los modelos tienen un “attention budget” (traducción: presupuesto de atención) y que la capacidad de recuperar información cae a medida que crece el contexto, lo que llama context rot. La posición también importa: los datos situados en medio de un prompt largo se pasan por alto con más facilidad (lost in the middle).
El artículo menciona varias técnicas para agentes de ejecución prolongada:
| Técnica | Qué hace |
|---|---|
| Compactación | Resume el historial cerca del límite y continúa a partir del resumen |
| Limpieza de resultados de herramientas | Elimina del historial las salidas en bruto antiguas de las herramientas |
| Notas estructuradas | El agente escribe notas en un archivo fuera del contexto y las vuelve a leer después |
| Subagentes | Hacen un trabajo concreto en un contexto limpio y devuelven un resumen breve |
| Recuperación justo a tiempo | Guarda referencias (rutas de archivos, consultas) y carga los datos solo cuando se necesitan |
Un ejemplo práctico del presupuesto de un turno en un agente de programación:
System prompt + rules 4,000 tokens
Tool definitions 6,000 tokens
Notes file 1,500 tokens
History (compacted) 20,000 tokens
Latest tool output 8,000 tokens <- largest single item
Por qué importa
- Calidad. Menos ruido en el contexto suele significar mejores respuestas y menos instrucciones pasadas por alto.
- Costo. Con facturación por token, cada token del contexto se cobra en cada turno. El contenido estable colocado al principio sale más barato como entrada en caché; consulte estructura del prompt para el caché.
- Duración de la ejecución. Una buena gestión del contexto permite que un agente trabaje durante horas sin alcanzar el límite de la ventana de contexto.
En BroadNet Inference
La ingeniería de contexto ocurre en su código: la Chat Completions API de BroadNet recibe la lista de mensajes que usted envíe. DeepSeek V4.1 Flash y GLM 5.3 aceptan 1,048,576 tokens, Qwen3.8 27B 262,144 y Gemma 4 VL 26B 32K, así que un contexto ajustado importa sobre todo en Gemma.
Cuando el modelo los informa, usage.prompt_tokens_details.cached_tokens muestra los tokens leídos desde el caché, que en pago por uso se cobran al precio de entrada en caché. Gestión del contexto para agentes de ejecución prolongada ofrece cinco reglas prácticas, y el artículo sobre el presupuesto de tokens de un agente muestra adónde van los tokens de un agente.