La mayor parte de lo que un agente envía a un LLM es igual en cada turno: el prompt del sistema, las definiciones de herramientas, los archivos con los que trabaja y la conversación hasta ese momento. Solo el último mensaje es nuevo. El prompt caching significa que el proveedor no factura esa parte repetida a precio completo.
¿Qué es un token de entrada en caché?
Cada solicitud se compone de tokens de entrada y de salida. Antes de responder, el modelo procesa el prompt completo. Si una solicitud anterior empezaba exactamente con los mismos tokens, el sistema de servicio puede reutilizar ese trabajo en lugar de repetirlo. La parte reutilizada se reporta como tokens de entrada en caché y se factura a una tarifa menor.
De cómo funciona esto se desprenden dos puntos:
- Solo se cachea el prefijo. La coincidencia va desde el primer token hacia delante y se detiene en la primera diferencia.
- La respuesta nunca se cachea. El modelo sigue generando una salida nueva, facturada al precio completo de salida.
¿Cuánto cuestan los tokens en caché en BroadNet Inference?
Por 1 millón de tokens, según el archivo de precios publicado:
| Modelo | Entrada nueva | Entrada en caché | Salida |
|---|---|---|---|
| DeepSeek V4.1 Flash | $0.175 | $0.0055 | $0.52 |
| GLM 5.3 | $0.78 | $0.173 | $3.46 |
| Qwen3.8 27B | $0.175 | $0.0435 | $2.17 |
En DeepSeek V4.1 Flash la diferencia es grande: compare $0.0055 por 1M de tokens en caché con $0.175 por 1M de tokens nuevos. Para un agente que reenvía un repositorio de 200,000 tokens en cada turno, la tasa de aciertos de caché decide la mayor parte de la factura.
¿Cuánto puede ahorrar la caché? Un ejemplo calculado
Un agente de programación envía un prompt de 200,000 tokens 100 veces en una jornada laboral. Eso son 20 millones de tokens de entrada al día.
| Tasa de caché | Tokens de entrada nuevos | Tokens de entrada en caché |
|---|---|---|
| 0 % | 20M a $0.175 por 1M | 0 |
| 50 % | 10M a $0.175 por 1M | 10M a $0.0055 por 1M |
| 90 % | 2M a $0.175 por 1M | 18M a $0.0055 por 1M |
La fórmula de la factura diaria de entrada es new tokens (M) × input price + cached tokens (M) × cached price. Al 90 %, 18M de los 20M tokens de entrada se facturan al precio en caché en lugar del precio de entrada completo, así que cuanto mayor sea la diferencia entre ambos precios, más ahorra en la parte de entrada de la factura. La salida no cambia. Pruebe sus propios números en la calculadora de prompt caching.
¿Cómo se ven los tokens en caché en la respuesta de la API?
La referencia de la API de BroadNet indica que, cuando el modelo los reporta, el objeto usage incluye prompt_tokens_details.cached_tokens: los tokens del prompt leídos de la caché, facturados al precio de caché. En un stream, pida el uso en el último fragmento:
from openai import OpenAI
import os
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
messages = [
{"role": "system", "content": "You are a code reviewer."}, # stable prefix: keep it identical
{"role": "user", "content": "Review the diff below."},
]
stream = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
messages=messages,
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
if chunk.usage:
u = chunk.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"prompt={u.prompt_tokens} cached={cached} rate={cached / max(1, u.prompt_tokens):.0%}")
Registre esa tasa por solicitud durante un día. Le dirá lo que paga en realidad, y es el número que debe introducir en la calculadora de prompt caching. Encontrará más sobre el uso en streaming en la guía de streaming.
¿En qué se diferencia el prompt caching de OpenAI, Anthropic y DeepSeek?
La caché no está estandarizada. Esto es lo que decía la documentación oficial cuando la consultamos el 14 de noviembre de 2026:
| OpenAI | Anthropic | DeepSeek (API directa) | |
|---|---|---|---|
| Activación | Por defecto en los modelos compatibles | Opcional, con un campo cache_control (automático o por bloque) |
Por defecto para todos los usuarios |
| Prompt mínimo | 1,024 tokens en GPT-5.6 y posteriores | De 512 a 4,096 tokens, según el modelo | No se indica mínimo |
| Duración de la caché | 30 minutos por defecto en GPT-5.6 y posteriores; opción de 12 horas | 5 minutos por defecto, 1 hora con costo adicional | Según disponibilidad; se borra cuando no se usa, “a few hours to a few days” (Traducción: «de unas horas a unos días») |
| Escrituras | 1.25× la entrada (30 minutos) o 2.5× (12 horas) en GPT-5.6 y posteriores | 1.25× la entrada por 5 minutos, 2× por 1 hora | No se menciona cargo por escritura |
| Lecturas | 0.1× la entrada en GPT-5.6 y posteriores (0.05× en GPT-6.1 Sol y Terra) | 0.1× la entrada en la mayoría de los modelos, menos en algunos | Precio aparte de “cache hit” (acierto de caché) |
| Campo de uso | cached_tokens en los detalles de tokens |
cache_read_input_tokens |
prompt_cache_hit_tokens |
Fuentes: guía de prompt caching de OpenAI, documentación de prompt caching de Anthropic y documentación de caché de contexto de DeepSeek. Cuando las escrituras cuestan más, una caché que se escribe pero nunca se lee cuesta más que no tener caché. La caché solo compensa en los prompts que realmente repite. Para comparar precios de lista por modelo, consulte la tabla de precios de API de LLM.
¿Qué reduce su tasa de aciertos de caché?
La caché busca un prefijo exacto, así que cualquier cambio al principio del prompt convierte en nuevo todo lo demás. Las causas habituales:
- una marca de tiempo, un ID de solicitud o un nombre de usuario cerca del inicio del prompt del sistema;
- definiciones de herramientas o JSON serializados con un orden de claves distinto en cada llamada, lo que cambia los tokens;
- un agente que reescribe o resume su historial en lugar de añadir al final;
- pausas largas, tras las cuales la caché ha caducado.
La solución es un orden fijo de capas (prompt del sistema, herramientas, documentos, historial, mensaje nuevo), con cada capa idéntica byte a byte entre llamadas. Nuestra guía sobre cómo estructurar los prompts para que el prefijo se cachee recorre esa estructura en código, con una prueba que demuestra que el prefijo se reutiliza.
¿Cuándo deja de importar la caché?
En un plan de tarifa plana, la factura no depende en absoluto de los tokens. Luna Llena (Full Moon) cuesta $60 al mes por sesión, con DeepSeek V4.1 Flash ilimitado. Si su agente ya supera el punto de equilibrio, la tasa de caché deja de ser un problema de costo. En prompts largos, los hábitos anteriores siguen ayudando con la velocidad, así que vale la pena mantenerlos en cualquier caso.
¿Por qué importa más la caché con contextos largos?
DeepSeek V4.1 Flash y GLM 5.3 aceptan hasta 1,048,576 tokens por solicitud. La caché es lo que hace asequibles los prompts muy largos con una clave de pago por token, porque la parte grande y repetida de la ventana de contexto se factura a la tarifa de caché. Consulte cuándo vale la pena una ventana de contexto de 1M de tokens.
Dónde encaja BroadNet Inference
BroadNet publica un precio de entrada en caché para cada modelo de chat que lo tiene y reporta los tokens en caché en usage cuando el modelo los informa, así que puede medir su tasa antes de comprometerse. No publica la duración de la caché ni la longitud mínima del prompt, así que mida ambas con su propio tráfico. Si su agente trabaja todo el día, un plan de tarifa plana elimina la pregunta por completo.
