BroadRouter
Comenzar

Ingeniería de contexto (context engineering)

Actualizado

La ingeniería de contexto es el trabajo de elegir y mantener el conjunto de tokens que un modelo de lenguaje ve en cada solicitud (prompt de sistema, definiciones de herramientas, historial, documentos recuperados y notas) para que el modelo reciba el conjunto más pequeño de información de alta señal que necesita para hacer bien la tarea.

También llamado: ingeniería de contexto, gestión del contexto, gestión de contexto para agentes, context engineering, context management, agent context engineering

Un prompt es lo que usted escribe una vez. El contexto es todo lo que el modelo ve en cada turno, y en un agente cambia en cada turno.

Cómo funciona

El artículo de ingeniería de Anthropic describe la ingeniería de contexto como “the set of strategies for curating and maintaining the optimal set of tokens” (traducción: el conjunto de estrategias para seleccionar y mantener el conjunto óptimo de tokens) durante la inferencia, incluida la información que va más allá del prompt. Fija como objetivo encontrar el “smallest possible set of high-signal tokens” (traducción: el conjunto de tokens de alta señal más pequeño posible) que haga probable el resultado deseado.

La razón es que la atención es limitada. El artículo dice que los modelos tienen un “attention budget” (traducción: presupuesto de atención) y que la capacidad de recuperar información cae a medida que crece el contexto, lo que llama context rot. La posición también importa: los datos situados en medio de un prompt largo se pasan por alto con más facilidad (lost in the middle).

El artículo menciona varias técnicas para agentes de ejecución prolongada:

Técnica Qué hace
Compactación Resume el historial cerca del límite y continúa a partir del resumen
Limpieza de resultados de herramientas Elimina del historial las salidas en bruto antiguas de las herramientas
Notas estructuradas El agente escribe notas en un archivo fuera del contexto y las vuelve a leer después
Subagentes Hacen un trabajo concreto en un contexto limpio y devuelven un resumen breve
Recuperación justo a tiempo Guarda referencias (rutas de archivos, consultas) y carga los datos solo cuando se necesitan

Un ejemplo práctico del presupuesto de un turno en un agente de programación:

System prompt + rules          4,000 tokens
Tool definitions               6,000 tokens
Notes file                     1,500 tokens
History (compacted)           20,000 tokens
Latest tool output             8,000 tokens   <- largest single item

Por qué importa

  • Calidad. Menos ruido en el contexto suele significar mejores respuestas y menos instrucciones pasadas por alto.
  • Costo. Con facturación por token, cada token del contexto se cobra en cada turno. El contenido estable colocado al principio sale más barato como entrada en caché; consulte estructura del prompt para el caché.
  • Duración de la ejecución. Una buena gestión del contexto permite que un agente trabaje durante horas sin alcanzar el límite de la ventana de contexto.

En BroadNet Inference

La ingeniería de contexto ocurre en su código: la Chat Completions API de BroadNet recibe la lista de mensajes que usted envíe. DeepSeek V4.1 Flash y GLM 5.3 aceptan 1,048,576 tokens, Qwen3.8 27B 262,144 y Gemma 4 VL 26B 32K, así que un contexto ajustado importa sobre todo en Gemma.

Cuando el modelo los informa, usage.prompt_tokens_details.cached_tokens muestra los tokens leídos desde el caché, que en pago por uso se cobran al precio de entrada en caché. Gestión del contexto para agentes de ejecución prolongada ofrece cinco reglas prácticas, y el artículo sobre el presupuesto de tokens de un agente muestra adónde van los tokens de un agente.

Preguntas frecuentes

¿En qué se diferencia la ingeniería de contexto de la ingeniería de prompts?

La ingeniería de prompts trata de escribir buenas instrucciones. La ingeniería de contexto abarca todo lo que el modelo ve en un turno, incluidas las definiciones de herramientas, el historial y los datos recuperados, y cómo cambia ese conjunto a lo largo de una sesión larga.

¿Por qué no usar simplemente una ventana de contexto más grande?

Una ventana más grande retrasa el problema, pero no lo elimina. Anthropic señala que la capacidad de recuperar información cae a medida que crece el contexto, y con facturación por token cada token extra se vuelve a pagar en cada turno.

¿Qué es lo primero que conviene probar?

Mida qué llena su contexto. La salida de las herramientas y el historial antiguo suelen ser las partes más grandes, y recortarlos o resumirlos es una prueba barata.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity