BroadRouter

Tokens de entrada en caché: cómo reducir la factura de una API de LLM

Por el equipo de BroadNet Inference · 5 min de lectura · Publicado · Actualizado

Los tokens de entrada en caché son tokens del prompt que el proveedor ya procesó y puede reutilizar, por eso se facturan a una tarifa menor. En BroadNet Inference, DeepSeek V4.1 Flash factura la entrada en caché a $0.0055 por 1M de tokens frente a $0.175 de la entrada nueva. Ponga la parte estable del prompt al principio e idéntica entre llamadas para obtener el descuento.

La mayor parte de lo que un agente envía a un LLM es igual en cada turno: el prompt del sistema, las definiciones de herramientas, los archivos con los que trabaja y la conversación hasta ese momento. Solo el último mensaje es nuevo. El prompt caching significa que el proveedor no factura esa parte repetida a precio completo.

¿Qué es un token de entrada en caché?

Cada solicitud se compone de tokens de entrada y de salida. Antes de responder, el modelo procesa el prompt completo. Si una solicitud anterior empezaba exactamente con los mismos tokens, el sistema de servicio puede reutilizar ese trabajo en lugar de repetirlo. La parte reutilizada se reporta como tokens de entrada en caché y se factura a una tarifa menor.

De cómo funciona esto se desprenden dos puntos:

  • Solo se cachea el prefijo. La coincidencia va desde el primer token hacia delante y se detiene en la primera diferencia.
  • La respuesta nunca se cachea. El modelo sigue generando una salida nueva, facturada al precio completo de salida.

¿Cuánto cuestan los tokens en caché en BroadNet Inference?

Por 1 millón de tokens, según el archivo de precios publicado:

Modelo Entrada nueva Entrada en caché Salida
DeepSeek V4.1 Flash $0.175 $0.0055 $0.52
GLM 5.3 $0.78 $0.173 $3.46
Qwen3.8 27B $0.175 $0.0435 $2.17

En DeepSeek V4.1 Flash la diferencia es grande: compare $0.0055 por 1M de tokens en caché con $0.175 por 1M de tokens nuevos. Para un agente que reenvía un repositorio de 200,000 tokens en cada turno, la tasa de aciertos de caché decide la mayor parte de la factura.

¿Cuánto puede ahorrar la caché? Un ejemplo calculado

Un agente de programación envía un prompt de 200,000 tokens 100 veces en una jornada laboral. Eso son 20 millones de tokens de entrada al día.

Tasa de caché Tokens de entrada nuevos Tokens de entrada en caché
0 % 20M a $0.175 por 1M 0
50 % 10M a $0.175 por 1M 10M a $0.0055 por 1M
90 % 2M a $0.175 por 1M 18M a $0.0055 por 1M

La fórmula de la factura diaria de entrada es new tokens (M) × input price + cached tokens (M) × cached price. Al 90 %, 18M de los 20M tokens de entrada se facturan al precio en caché en lugar del precio de entrada completo, así que cuanto mayor sea la diferencia entre ambos precios, más ahorra en la parte de entrada de la factura. La salida no cambia. Pruebe sus propios números en la calculadora de prompt caching.

¿Cómo se ven los tokens en caché en la respuesta de la API?

La referencia de la API de BroadNet indica que, cuando el modelo los reporta, el objeto usage incluye prompt_tokens_details.cached_tokens: los tokens del prompt leídos de la caché, facturados al precio de caché. En un stream, pida el uso en el último fragmento:

from openai import OpenAI
import os

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
messages = [
    {"role": "system", "content": "You are a code reviewer."},  # stable prefix: keep it identical
    {"role": "user", "content": "Review the diff below."},
]
stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=messages,
    stream=True,
    stream_options={"include_usage": True},
)
for chunk in stream:
    if chunk.usage:
        u = chunk.usage
        cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
        print(f"prompt={u.prompt_tokens} cached={cached} rate={cached / max(1, u.prompt_tokens):.0%}")

Registre esa tasa por solicitud durante un día. Le dirá lo que paga en realidad, y es el número que debe introducir en la calculadora de prompt caching. Encontrará más sobre el uso en streaming en la guía de streaming.

¿En qué se diferencia el prompt caching de OpenAI, Anthropic y DeepSeek?

La caché no está estandarizada. Esto es lo que decía la documentación oficial cuando la consultamos el 14 de noviembre de 2026:

OpenAI Anthropic DeepSeek (API directa)
Activación Por defecto en los modelos compatibles Opcional, con un campo cache_control (automático o por bloque) Por defecto para todos los usuarios
Prompt mínimo 1,024 tokens en GPT-5.6 y posteriores De 512 a 4,096 tokens, según el modelo No se indica mínimo
Duración de la caché 30 minutos por defecto en GPT-5.6 y posteriores; opción de 12 horas 5 minutos por defecto, 1 hora con costo adicional Según disponibilidad; se borra cuando no se usa, “a few hours to a few days” (Traducción: «de unas horas a unos días»)
Escrituras 1.25× la entrada (30 minutos) o 2.5× (12 horas) en GPT-5.6 y posteriores 1.25× la entrada por 5 minutos, 2× por 1 hora No se menciona cargo por escritura
Lecturas 0.1× la entrada en GPT-5.6 y posteriores (0.05× en GPT-6.1 Sol y Terra) 0.1× la entrada en la mayoría de los modelos, menos en algunos Precio aparte de “cache hit” (acierto de caché)
Campo de uso cached_tokens en los detalles de tokens cache_read_input_tokens prompt_cache_hit_tokens

Fuentes: guía de prompt caching de OpenAI, documentación de prompt caching de Anthropic y documentación de caché de contexto de DeepSeek. Cuando las escrituras cuestan más, una caché que se escribe pero nunca se lee cuesta más que no tener caché. La caché solo compensa en los prompts que realmente repite. Para comparar precios de lista por modelo, consulte la tabla de precios de API de LLM.

¿Qué reduce su tasa de aciertos de caché?

La caché busca un prefijo exacto, así que cualquier cambio al principio del prompt convierte en nuevo todo lo demás. Las causas habituales:

  • una marca de tiempo, un ID de solicitud o un nombre de usuario cerca del inicio del prompt del sistema;
  • definiciones de herramientas o JSON serializados con un orden de claves distinto en cada llamada, lo que cambia los tokens;
  • un agente que reescribe o resume su historial en lugar de añadir al final;
  • pausas largas, tras las cuales la caché ha caducado.

La solución es un orden fijo de capas (prompt del sistema, herramientas, documentos, historial, mensaje nuevo), con cada capa idéntica byte a byte entre llamadas. Nuestra guía sobre cómo estructurar los prompts para que el prefijo se cachee recorre esa estructura en código, con una prueba que demuestra que el prefijo se reutiliza.

¿Cuándo deja de importar la caché?

En un plan de tarifa plana, la factura no depende en absoluto de los tokens. Luna Llena (Full Moon) cuesta $60 al mes por sesión, con DeepSeek V4.1 Flash ilimitado. Si su agente ya supera el punto de equilibrio, la tasa de caché deja de ser un problema de costo. En prompts largos, los hábitos anteriores siguen ayudando con la velocidad, así que vale la pena mantenerlos en cualquier caso.

¿Por qué importa más la caché con contextos largos?

DeepSeek V4.1 Flash y GLM 5.3 aceptan hasta 1,048,576 tokens por solicitud. La caché es lo que hace asequibles los prompts muy largos con una clave de pago por token, porque la parte grande y repetida de la ventana de contexto se factura a la tarifa de caché. Consulte cuándo vale la pena una ventana de contexto de 1M de tokens.

Dónde encaja BroadNet Inference

BroadNet publica un precio de entrada en caché para cada modelo de chat que lo tiene y reporta los tokens en caché en usage cuando el modelo los informa, así que puede medir su tasa antes de comprometerse. No publica la duración de la caché ni la longitud mínima del prompt, así que mida ambas con su propio tráfico. Si su agente trabaja todo el día, un plan de tarifa plana elimina la pregunta por completo.

Preguntas frecuentes

¿Tengo que activar el prompt caching?

Depende del proveedor. OpenAI y DeepSeek cachean automáticamente; Anthropic necesita un campo cache_control. En BroadNet Inference, revise el bloque usage: cuando el modelo reporta tokens en caché, aparecen como prompt_tokens_details.cached_tokens y se facturan al precio de entrada en caché.

¿Cómo compruebo si el prompt caching está funcionando?

Pida usage en cada solicitud y calcule cached_tokens dividido entre prompt_tokens. Una tasa cercana a cero en la segunda llamada de un prompt largo y repetido indica que algo al principio del prompt cambia entre llamadas.

¿Por qué mi tasa de aciertos de caché es baja?

Normalmente porque algo al principio del prompt cambia en cada llamada, como una marca de tiempo, un ID de solicitud o una lista de herramientas reordenada. Mueva el contenido cambiante al final.

¿Qué diferencia hay entre prompt caching y caché de respuestas?

El prompt caching reutiliza el trabajo del proveedor sobre un prefijo de prompt repetido, y el modelo sigue escribiendo una respuesta nueva. La caché de respuestas la construye usted: guarda respuestas completas y las devuelve ante preguntas idénticas sin llamar al modelo.

¿Los tokens en caché son gratis?

No. Se facturan a una tarifa menor, no a cero. En DeepSeek V4.1 Flash, la entrada en caché cuesta $0.0055 por 1M de tokens, y la salida se factura completa.

¿Importa la caché en un plan ilimitado?

No para la factura, porque las sesiones de plan no tienen medidor de tokens. Aun así, en muchos sistemas de servicio acorta el tiempo hasta el primer token en prompts largos, así que los mismos hábitos ayudan.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity