BroadRouter
Inizia

Finestra di contesto (context window)

Aggiornato

La finestra di contesto è il numero massimo di token con cui un modello linguistico può lavorare in una singola richiesta. Comprende prompt, cronologia della conversazione, definizioni degli strumenti, immagini e output generato, token di ragionamento inclusi. Ciò che non ci sta va tagliato, riassunto o diviso su più richieste.

Detto anche: finestra di contesto, lunghezza del contesto, limite di contesto, limite di token, context window, context length, context size, token limit, context limit

La finestra di contesto è la memoria di lavoro di un modello per una singola richiesta. Tutto ciò che il modello deve vedere, e tutto ciò che scrive in risposta, deve starci dentro.

Come funziona

La finestra si misura in token. La documentazione di Anthropic la descrive come “all the text a language model can reference when generating a response, including the response itself” (traduzione: tutto il testo a cui un modello linguistico può fare riferimento mentre genera una risposta, compresa la risposta stessa). Ci rientrano:

  • il system prompt e ogni messaggio, compresi i turni precedenti;
  • definizioni degli strumenti e loro risultati;
  • documenti e immagini;
  • l’output, compresi i token di ragionamento nascosti.

Il budget, quindi, è condiviso. Con una finestra da 1.048.576 token, un prompt da 1.040.000 token lascia circa 8.000 token per ragionamento e risposta. Imposta max_tokens tenendone conto.

Il modello non ricorda le richieste precedenti. Una chat sembra continua solo perché il client rimanda la cronologia a ogni turno, quindi una conversazione lunga riempie la finestra passo dopo passo.

Perché è importante

  • Capacità. Una finestra ampia permette a una sola richiesta di contenere un’intera codebase, un insieme di contratti od ore di trascrizioni, così il modello può collegare i fatti tra loro.
  • Costo. Con una chiave a token, ogni token nella finestra è fatturato come input. La cache abbassa il prezzo dei prefissi ripetuti, ma i token in cache occupano comunque la finestra.
  • Qualità. Di più non è sempre meglio. Anthropic chiama “context rot” la perdita di accuratezza nei prompt molto lunghi. Scegli con cura cosa inviare.
  • Latenza. Con i prompt lunghi il primo token arriva più tardi.

Su BroadNet Inference

Modello Finestra di contesto
DeepSeek V4.1 Flash 1.048.576 token
GLM 5.3 1.048.576 token
Qwen3.8 27B 262.144 token
BroadNet Gemma 4 VL 26B 32.768 token

La finestra copre prompt e risposta insieme, e BroadNet non taglia il tuo contesto. DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B ragionano prima di rispondere, quindi lascia spazio: una finestra piena con un budget di output ridotto restituisce una risposta vuota. Vedi perché i modelli di ragionamento restituiscono risposte vuote.

I piani illimitati includono l’intera finestra da 1M di token su DeepSeek V4.1 Flash. Per capire quando tanto contesto batte il retrieval, leggi la guida alla finestra di contesto da 1M di token.

Errori comuni

  • Confondere la finestra con la lunghezza dell’output. I limiti di output si impostano a parte con max_tokens.
  • Rimandare all’infinito l’intera cronologia. Riassumi o elimina i turni vecchi prima che la finestra si riempia.

Domande frequenti

Cosa succede se il prompt è più lungo della finestra di contesto?

L’API rifiuta la richiesta, di solito con un errore 400. Anthropic, per esempio, restituisce "prompt is too long" (traduzione: il prompt è troppo lungo). Alcune app di chat tagliano i messaggi vecchi al posto tuo; la maggior parte delle API no.

Una finestra di contesto più grande è sempre meglio?

No. I prompt lunghi costano di più e richiedono più tempo di elaborazione, e Anthropic osserva che accuratezza e capacità di richiamo possono peggiorare al crescere dei token. Invia quello che serve al compito.

BroadNet taglia il mio contesto?

No. BroadNet Inference non taglia il tuo contesto. Se la richiesta non ci sta, accorciala tu.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity