Quasi tutto quello che un agente invia a un LLM è uguale a ogni turno: il prompt di sistema, le definizioni degli strumenti, i file su cui sta lavorando e la conversazione fin lì. Solo l’ultimo messaggio è nuovo. Con il prompt caching, il provider non ti fa pagare quella parte ripetuta a prezzo pieno.
Che cos’è un token di input in cache?
Ogni richiesta è fatta di token di input e di output. Prima di rispondere, il modello elabora l’intero prompt. Se una richiesta precedente iniziava esattamente con gli stessi token, il sistema di serving può riutilizzare quel lavoro invece di rifarlo. La parte riutilizzata viene riportata come token di input in cache e fatturata a una tariffa più bassa.
Da questo meccanismo derivano due conseguenze:
- Va in cache solo il prefisso. Il confronto parte dal primo token e si ferma alla prima differenza.
- La risposta non va mai in cache. Il modello genera comunque output nuovo, fatturato al prezzo pieno dell’output.
Quanto costano i token in cache su BroadNet Inference?
Per 1 milione di token, dal file dei prezzi pubblicato:
| Modello | Input nuovo | Input in cache | Output |
|---|---|---|---|
| DeepSeek V4.1 Flash | $0.175 | $0.0055 | $0.52 |
| GLM 5.3 | $0.78 | $0.173 | $3.46 |
| Qwen3.8 27B | $0.175 | $0.0435 | $2.17 |
Su DeepSeek V4.1 Flash il divario è ampio: confronta $0.0055 per 1M di token in cache con $0.175 per 1M di token nuovi. Per un agente che a ogni turno reinvia un repository da 200.000 token, la percentuale di cache decide gran parte della fattura.
Quanto puoi risparmiare con la cache? Un esempio pratico
Un agente di coding invia un prompt da 200.000 token 100 volte in una giornata di lavoro. Sono 20 milioni di token di input al giorno.
| Percentuale di cache | Token di input nuovi | Token di input in cache |
|---|---|---|
| 0% | 20M a $0.175 per 1M | 0 |
| 50% | 10M a $0.175 per 1M | 10M a $0.0055 per 1M |
| 90% | 2M a $0.175 per 1M | 18M a $0.0055 per 1M |
La formula per il costo giornaliero dell’input è new tokens (M) × input price + cached tokens (M) × cached price. Al 90%, 18M dei 20M di token di input sono fatturati al prezzo cache invece che al prezzo pieno di input, quindi più è ampio il divario tra i due prezzi, più risparmi sulla parte di fattura legata all’input. L’output non cambia. Prova i tuoi numeri nel calcolatore del prompt caching.
Come vedi i token in cache nella risposta dell’API?
Il riferimento API di BroadNet dice che, quando il modello li riporta, l’oggetto usage contiene prompt_tokens_details.cached_tokens: i token del prompt letti dalla cache, fatturati al prezzo cache. In uno stream, chiedi usage nell’ultimo chunk:
from openai import OpenAI
import os
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
messages = [
{"role": "system", "content": "You are a code reviewer."}, # stable prefix: keep it identical
{"role": "user", "content": "Review the diff below."},
]
stream = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
messages=messages,
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
if chunk.usage:
u = chunk.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"prompt={u.prompt_tokens} cached={cached} rate={cached / max(1, u.prompt_tokens):.0%}")
Registra quella percentuale per ogni richiesta per una giornata. Ti dice quanto paghi davvero, ed è il numero da inserire nel calcolatore del prompt caching. Altro sull’usage in streaming nella guida allo streaming.
Come cambia il prompt caching tra OpenAI, Anthropic e DeepSeek?
La cache non è standardizzata. Ecco cosa diceva la documentazione ufficiale quando l’abbiamo consultata il 14 novembre 2026:
| OpenAI | Anthropic | DeepSeek (API diretta) | |
|---|---|---|---|
| Attivazione | Predefinita per i modelli supportati | Su richiesta, con un campo cache_control (automatico o per blocco) |
Predefinita per tutti gli utenti |
| Prompt minimo | 1.024 token su GPT-5.6 e successivi | Da 512 a 4.096 token, a seconda del modello | Nessun minimo indicato |
| Durata della cache | 30 minuti di default su GPT-5.6 e successivi; opzione da 12 ore | 5 minuti di default, 1 ora con sovrapprezzo | Best effort; svuotata se inutilizzata, “a few hours to a few days” (traduzione: da qualche ora a qualche giorno) |
| Scritture | 1,25× l’input (30 minuti) o 2,5× (12 ore) su GPT-5.6 e successivi | 1,25× l’input per 5 minuti, 2× per 1 ora | Nessun costo di scrittura indicato |
| Letture | 0,1× l’input su GPT-5.6 e successivi (0,05× su GPT-6.1 Sol e Terra) | 0,1× l’input sulla maggior parte dei modelli, meno su alcuni | Prezzo “cache hit” separato |
| Campo in usage | cached_tokens nei dettagli dei token |
cache_read_input_tokens |
prompt_cache_hit_tokens |
Fonti: guida di OpenAI al prompt caching, documentazione di Anthropic sul prompt caching e documentazione di DeepSeek sul context caching. Dove le scritture costano di più, una cache scritta ma mai letta costa più di nessuna cache. La cache conviene solo sui prompt che ripeti davvero. Per confrontare i prezzi di listino per modello, vedi la tabella dei prezzi delle API LLM.
Che cosa abbassa la tua percentuale di cache?
La cache confronta un prefisso esatto, quindi qualsiasi cosa cambi all’inizio del prompt rende nuovo tutto il resto. Le cause più comuni:
- un timestamp, un ID di richiesta o un nome utente in cima al prompt di sistema;
- definizioni degli strumenti o JSON serializzati con un ordine delle chiavi diverso a ogni chiamata, che cambia i token;
- un agente che riscrive o riassume la propria cronologia invece di aggiungere in coda;
- pause lunghe, dopo le quali la cache è scaduta.
La soluzione è un ordine fisso dei livelli (prompt di sistema, strumenti, documenti, cronologia, nuovo messaggio), con ogni livello identico byte per byte tra le chiamate. La nostra guida su come strutturare i prompt perché il prefisso vada in cache mostra questo layout nel codice, con un test che dimostra il riutilizzo del prefisso.
Quando la cache smette di contare?
Con un piano flat la fattura non dipende affatto dai token. Full Moon costa $60 al mese per sessione per DeepSeek V4.1 Flash illimitato. Se il tuo agente supera già il punto di pareggio, la percentuale di cache non è più un problema di costi. Sui prompt lunghi le abitudini descritte sopra aiutano comunque la velocità, quindi vale la pena mantenerle in ogni caso.
Perché la cache conta di più con un contesto lungo?
DeepSeek V4.1 Flash e GLM 5.3 accettano fino a 1.048.576 token per richiesta. È la cache a rendere sostenibili i prompt molto lunghi su una chiave a token, perché la parte grande e ripetuta della finestra di contesto si paga alla tariffa cache. Vedi quando conviene una finestra di contesto da 1M di token.
Dove si colloca BroadNet Inference
BroadNet pubblica un prezzo per l’input in cache per ogni modello di chat che lo prevede, e riporta i token in cache in usage quando il modello li fornisce, così puoi misurare la tua percentuale prima di impegnarti. Non pubblica né la durata della cache né la lunghezza minima del prompt, quindi misurale sul tuo traffico. Se il tuo agente lavora tutto il giorno, un piano flat elimina del tutto la questione.
