BroadRouter

Tokens de entrada en caché (cached input tokens)

Actualizado

Los tokens de entrada en caché son tokens del prompt que un proveedor de LLM procesó recientemente y puede reutilizar desde un caché en lugar de calcularlos de nuevo; normalmente son un prefijo repetido, como un prompt de sistema o un documento. Los proveedores los cobran a una tarifa menor que los tokens de entrada nuevos.

También llamado: prompt caching, caché de prompts, tokens en caché, entrada en caché, aciertos de caché, context caching, cache hits, cached tokens, cache read tokens

La mayor parte de lo que envía un agente es igual en cada turno. El prompt caching permite que el proveedor evite recalcular esa parte repetida y la cobre a menor precio.

Cómo funciona

Cuando un modelo lee un prompt, calcula un estado interno para cada token. Un proveedor puede conservar ese estado por poco tiempo. Si la siguiente solicitud empieza con los mismos tokens, el proveedor lee el estado guardado en lugar de recalcularlo. Esos tokens son los tokens de entrada en caché.

Los cachés coinciden desde el inicio del prompt. La guía de OpenAI dice que la reutilización “requires the entire rendered prefix to match” (traducción: requiere que todo el prefijo renderizado coincida). Un solo carácter cambiado al principio del prompt convierte todo lo que sigue en entrada nueva.

Los proveedores difieren en los detalles:

  • OpenAI activa el caché de forma predeterminada en los modelos compatibles e informa los aciertos en el bloque de uso. Documenta un prefijo mínimo de 1,024 tokens en sus modelos más nuevos.
  • Anthropic cobra las lecturas de caché a 0.1 veces el precio base de entrada en la mayoría de los modelos, cobra las escrituras con un recargo y conserva las entradas 5 minutos de forma predeterminada.

En el formato de Chat Completions, los aciertos aparecen como usage.prompt_tokens_details.cached_tokens. La tasa de caché es ese número dividido entre prompt_tokens.

Por qué importa

En prompts largos y repetidos, la tasa de caché decide la factura. Un agente que reenvía un repositorio de 200,000 tokens en cada turno paga el precio completo de entrada una vez y el precio en caché después, siempre que el prefijo se mantenga estable. El caché también puede acortar el tiempo hasta el primer token en prompts largos, porque se hace menos trabajo antes de empezar a generar.

Para subir la tasa, ponga primero el contenido estable (prompt de sistema, definiciones de herramientas, documentos) y al final el contenido que cambia. Mantenga las marcas de tiempo y los IDs de solicitud fuera del inicio del prompt, y conserve las listas de herramientas en un orden fijo. Qué proporción de los precios publicados por los proveedores incluye un precio de entrada en caché, y el descuento típico, está en el índice de precios de APIs de LLM.

En BroadNet Inference

BroadNet publica precios de entrada en caché para tres modelos de chat, por millón de tokens:

Modelo Entrada nueva Entrada en caché
DeepSeek V4.1 Flash $0.175 $0.0055
GLM 5.3 $0.78 $0.173
Qwen3.8 27B $0.175 $0.0435

Los tokens en caché se cobran automáticamente al precio menor, y prompt_tokens_details.cached_tokens los muestra cuando el modelo los informa. En un stream, solicite el uso con stream_options como se muestra en la guía de streaming.

En un plan de tarifa plana no hay medidor de tokens, así que la tasa de caché no cambia la factura. El recorrido completo, con código para registrar su tasa, está en tokens de entrada en caché explicados.

Preguntas frecuentes

¿Los tokens en caché siguen contando para la ventana de contexto?

Sí. El caché cambia lo que usted paga por esos tokens, no si cuentan. La documentación de Anthropic lo dice de forma explícita.

¿Cuánto dura un caché?

Depende del proveedor. En Anthropic, la duración predeterminada es de 5 minutos y se renueva cada vez que se usa el caché, con una opción de 1 hora. Otros proveedores no siempre publican un tiempo fijo, así que mida su tasa de aciertos.

¿El caché cambia la respuesta?

No. El caché guarda el trabajo hecho sobre el prompt, no la respuesta. El modelo sigue generando una respuesta nueva.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity