Un agente de programación que trabaja durante una tarde acumula mucho historial: archivos leídos, comandos ejecutados, salidas de tests, planes, correcciones. En cada turno, todo eso se vuelve a enviar al modelo. Cómo gestione ese contexto creciente decide tres cosas a la vez: cuánto cuesta cada turno, qué tan rápido responde y si el agente todavía recuerda lo que estaba haciendo.
Una ventana de 1M de tokens cambia los equilibrios. No los hace desaparecer.
¿Qué aporta una ventana de 1M de tokens a un agente de larga duración?
En BroadNet Inference, DeepSeek V4.1 Flash y GLM 5.3 aceptan hasta 1,048,576 tokens por solicitud, prompt y respuesta juntos. Qwen3.8 27B acepta 262,144. Con ventanas más pequeñas, un agente tiene que resumir tras una o dos horas de trabajo. Con un millón de tokens, normalmente puede conservar el historial en bruto de una sesión completa y compactar solo cerca del final de una ejecución muy larga.
Es una ventaja real: los resúmenes pierden información, y cada resumen es una oportunidad de olvidar justo el detalle que importaba. Pero hay tres costos que siguen creciendo con el prompt:
- Dinero, con una clave de pago por token, porque cada turno reenvía el prompt completo.
- Latencia, porque el servidor debe procesar cada token de entrada antes del primer token de salida.
- Atención. La calidad puede bajar a medida que crecen las entradas, un efecto llamado context rot (degradación del contexto). El artículo “Lost in the Middle” encontró que los modelos tienden a usar con más fiabilidad la información del inicio y del final de una entrada larga que la del medio. Los modelos más nuevos lo hacen mejor, pero la costumbre de mantener los datos importantes cerca de los extremos sigue compensando.
Regla 1: ¿por qué el historial debe ser de solo anexado?
La caché de prompts compara desde el inicio del prompt. Si los primeros 300,000 tokens de este turno son idénticos a los del turno anterior, pueden servirse desde la caché; el primer token distinto termina la coincidencia. La API de BroadNet lo informa en usage.prompt_tokens_details.cached_tokens cuando el modelo lo reporta, y cobra la entrada en caché a una tarifa menor: $0.0055 por 1M de tokens en DeepSeek V4.1 Flash, frente a $0.175 por la entrada nueva.
Por eso, estructure cada solicitud en el mismo orden y añada siempre solo al final:
[ system prompt ] never changes during a session
[ tool definitions ] fixed order, never changes
[ project notes ] changes rarely, and only by appending
[ turn 1 ... turn N ] grows at the end
[ new message ]
Los rompedores de prefijo habituales son una marca de tiempo en el prompt de sistema, definiciones de herramientas en orden inestable y volver a renderizar resultados antiguos de herramientas. En agentes, sume uno más: el recorte por “ventana deslizante” que elimina el turno más antiguo cada vez, lo que desplaza todo lo que viene después. Cada uno de ellos convierte un prompt en caché en uno nuevo; estructura de prompts para la caché enumera el resto, con una prueba que demuestra que el prefijo está en caché. En una sesión larga la diferencia es grande: la mayor parte del prompt puede ser entrada en caché en lugar de entrada nueva. Cómo se cobra la entrada en caché.
Regla 2: ¿cómo se mide la tasa de caché?
Regístrela en cada solicitud. Con el SDK de OpenAI, bastan tres líneas después de la llamada:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
resp = client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=history, max_tokens=8000)
u = resp.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"turn prompt={u.prompt_tokens:,} cached={cached:,} ({cached / max(1, u.prompt_tokens):.0%})")
Un agente sano de solo anexado muestra una proporción alta de entrada en caché en cada turno después del primero. Una caída repentina a casi cero significa que algo cambió al principio del prompt. Encuéntrelo y fíjelo. La calculadora de caché de prompts convierte una tasa de caché en dinero por sesión.
Regla 3: ¿qué conviene recortar primero cuando el contexto crece?
Cuando el contexto sí tiene que reducirse, importa qué se elimina. En la mayoría de las transcripciones de agentes, el grueso es salida de herramientas: un log de tests de 4,000 líneas, un archivo entero leído para encontrar una función, un listado de directorio. La parte valiosa es pequeña: el plan, las decisiones y sus motivos, los errores que se corrigieron.
Orden de recorte, del primero al último:
- Salida obsoleta de herramientas. Sustituya el contenido de los resultados antiguos por un resumen de una línea: “ran pytest: 3 failures in test_api.py (fixed in turn 14)”.
- Contenido de archivos ya superado. Si el agente leyó
api.py, lo editó y lo volvió a leer, la primera lectura es peso muerto. - Exploración que no llevó a nada. Búsquedas y lecturas que no terminaron en un cambio.
- Razonamiento y planes. Consérvelos el mayor tiempo posible. Explican por qué el código es como es.
Mejor aún es truncar la salida de la herramienta en el momento en que se produce. Limite cada resultado (por ejemplo, las últimas 200 líneas de un log más el número total de líneas) y deje que el agente pida más si lo necesita. Así el historial se mantiene pequeño y de solo anexado.
Regla 4: ¿cuándo debe un agente compactar su historial?
La compactación (resumir el historial antiguo en un bloque más corto) es la herramienta pesada. Reescribe el prefijo, así que el turno siguiente a una compactación paga el precio completo de entrada por todo lo que va después del prompt de sistema. Compactar un poco cada pocos turnos significa pagar ese precio una y otra vez.
Mejor:
- Elija un umbral alto. Con una ventana de 1M, compactar, por ejemplo, al 60–70 % de ocupación deja espacio para el turno de resumen y para un largo tramo de trabajo nuevo.
- Conserve literal el tramo reciente. Resuma la parte antigua y deje intactos los últimos turnos. La documentación de compactación de opencode lo describe así: resume la conversación y conserva la parte más reciente, unos 15,000 tokens de forma predeterminada.
- Resuma con el prompt completo. Enviar la conversación completa a la solicitud de resumen le permite reutilizar la caché del turno anterior.
- Compacte una vez y vuelva a anexar. Tras una compactación, el nuevo prefijo es estable y la caché se reanuda desde ahí.
Regla 5: ¿qué va en un archivo de notas?
Algunos datos deben sobrevivir a cualquier número de compactaciones: el objetivo, las restricciones, las decisiones tomadas, los comandos que compilan y prueban el proyecto. Guárdelos en un archivo de notas breve (un NOTES.md o un archivo de tareas) al que el agente añade y que relee. Está cerca del inicio del prompt, cambia rara vez y es lo primero que lee una sesión nueva si la ejecución se reinicia.
También es la forma de memoria más barata: unos pocos miles de tokens que le ahorran al agente redescubrir los mismos datos tras cada resumen.
¿Cómo afectan los tokens de razonamiento al presupuesto?
DeepSeek V4.1 Flash, GLM 5.3 y Qwen3.8 27B razonan antes de responder, y el razonamiento cuenta dentro de max_tokens. Una sesión larga no cambia eso, pero los prompts grandes tientan a bajar max_tokens para “ahorrar espacio”. No lo haga. Un presupuesto de salida ajustado produce respuestas vacías, que el agente luego reintenta. Por qué las respuestas llegan vacías.
Recuerde también que la ventana cuenta el prompt y la respuesta juntos. Con un prompt cercano a 1,048,576 tokens, no queda espacio para responder. Compacte antes de llegar ahí; la calculadora de ventana de contexto muestra cuánto espacio deja un prompt dado.
¿Importa esto en un plan de tarifa plana?
En una sesión de plan de BroadNet, DeepSeek V4.1 Flash no tiene medidor de tokens: una sesión Luna Llena (Full Moon) cuesta $60 al mes, sin importar lo largos que sean los prompts. El argumento económico a favor de la caché desaparece. Los otros dos no. En muchos sistemas de serving, un prefijo en caché suele procesarse más rápido, y un contexto bien gestionado da mejores respuestas. Los hábitos son los mismos; solo cambia el motivo. Cómo funcionan las sesiones de plan.
Lista de verificación de gestión del contexto
- Prompt de sistema y lista de herramientas fijos durante toda la sesión.
- Historial solo anexado; los turnos antiguos nunca se reformatean.
- Tasa de caché registrada en cada solicitud.
- Salida de herramientas limitada al producirse; la salida obsoleta se resume después en una línea.
- Compactación con un umbral alto, conservando literal el tramo reciente.
- Un archivo de notas con objetivo, restricciones y decisiones.
- Presupuesto de salida suficiente para el razonamiento.
Para saber cuándo vale la pena usar una ventana de un millón de tokens, consulte la guía de la ventana de contexto de 1M. Para detener sesiones que crecen sin avanzar, consulte control de costos en bucles de agentes.
