La finestra di contesto è la memoria di lavoro di un modello per una singola richiesta. Tutto ciò che il modello deve vedere, e tutto ciò che scrive in risposta, deve starci dentro.
Come funziona
La finestra si misura in token. La documentazione di Anthropic la descrive come “all the text a language model can reference when generating a response, including the response itself” (traduzione: tutto il testo a cui un modello linguistico può fare riferimento mentre genera una risposta, compresa la risposta stessa). Ci rientrano:
- il system prompt e ogni messaggio, compresi i turni precedenti;
- definizioni degli strumenti e loro risultati;
- documenti e immagini;
- l’output, compresi i token di ragionamento nascosti.
Il budget, quindi, è condiviso. Con una finestra da 1.048.576 token, un prompt da 1.040.000 token lascia circa 8.000 token per ragionamento e risposta. Imposta max_tokens tenendone conto.
Il modello non ricorda le richieste precedenti. Una chat sembra continua solo perché il client rimanda la cronologia a ogni turno, quindi una conversazione lunga riempie la finestra passo dopo passo.
Perché è importante
- Capacità. Una finestra ampia permette a una sola richiesta di contenere un’intera codebase, un insieme di contratti od ore di trascrizioni, così il modello può collegare i fatti tra loro.
- Costo. Con una chiave a token, ogni token nella finestra è fatturato come input. La cache abbassa il prezzo dei prefissi ripetuti, ma i token in cache occupano comunque la finestra.
- Qualità. Di più non è sempre meglio. Anthropic chiama “context rot” la perdita di accuratezza nei prompt molto lunghi. Scegli con cura cosa inviare.
- Latenza. Con i prompt lunghi il primo token arriva più tardi.
Su BroadNet Inference
| Modello | Finestra di contesto |
|---|---|
| DeepSeek V4.1 Flash | 1.048.576 token |
| GLM 5.3 | 1.048.576 token |
| Qwen3.8 27B | 262.144 token |
| BroadNet Gemma 4 VL 26B | 32.768 token |
La finestra copre prompt e risposta insieme, e BroadNet non taglia il tuo contesto. DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B ragionano prima di rispondere, quindi lascia spazio: una finestra piena con un budget di output ridotto restituisce una risposta vuota. Vedi perché i modelli di ragionamento restituiscono risposte vuote.
I piani illimitati includono l’intera finestra da 1M di token su DeepSeek V4.1 Flash. Per capire quando tanto contesto batte il retrieval, leggi la guida alla finestra di contesto da 1M di token.
Errori comuni
- Confondere la finestra con la lunghezza dell’output. I limiti di output si impostano a parte con
max_tokens. - Rimandare all’infinito l’intera cronologia. Riassumi o elimina i turni vecchi prima che la finestra si riempia.