BroadRouter
Inizia

Context rot (degrado del contesto)

Aggiornato

Il context rot è la perdita graduale di accuratezza e affidabilità che i modelli linguistici mostrano quando l’input si allunga, anche se il compito resta lo stesso e l’input è ben dentro la context window. Il termine è stato reso popolare da un report tecnico di Chroma del 2025 che ha testato 18 modelli.

Detto anche: degrado del contesto, degrado con contesti lunghi, calo di accuratezza con contesto lungo, context rot, context degradation, long-context degradation, context decay, context window degradation

Un modello che accetta un milione di token non usa il milionesimo token bene quanto i primi mille. Quella differenza è il context rot.

Come funziona

Il report di Chroma (Hong, Troynikov e Huber, luglio 2025) ha testato 18 modelli, tra cui GPT-4.1, Claude 4, Gemini 2.5 e Qwen3, su compiti che restavano ugualmente difficili mentre l’input cresceva. Il risultato principale: “model performance consistently degrades with increasing input length” (traduzione: le prestazioni dei modelli peggiorano costantemente con l’aumentare della lunghezza dell’input).

Sono emersi tre effetti:

  • Le corrispondenze deboli soffrono di più. Quando la domanda e il passaggio rilevante hanno poche parole in comune, l’accuratezza calava più in fretta con la lunghezza.
  • I distrattori fanno male. “Even a single distractor reduces performance relative to the baseline” (traduzione: anche un solo distrattore riduce le prestazioni rispetto al riferimento), e con quattro andava peggio. Un distrattore è un passaggio sullo stesso argomento che non risponde alla domanda.
  • La struttura conta, in modo strano. Un testo di riempimento coerente peggiorava i risultati più delle stesse frasi mescolate. Gli autori hanno rilevato che “structural coherence consistently hurts model performance” (traduzione: la coerenza strutturale peggiora costantemente le prestazioni del modello).

Il report si basa su lavori precedenti come lost in the middle, che aveva mostrato gli effetti della posizione. Il context rot allarga il discorso: anche la lunghezza in sé, non solo la posizione, costa accuratezza.

Perché è importante

  • Agenti. Un agente di coding o di ricerca accumula letture di file, log e vecchi risultati dei tool. Ognuno è un potenziale distrattore. L’accuratezza può scendere molto prima che la context window sia piena.
  • Costo e latenza. I prompt più lunghi costano anche più token di input e richiedono più tempo di elaborazione, quindi accorciarli aiuta su tre fronti insieme.
  • Contesto lungo o recupero. Inviare un intero corpus è semplice, ma la RAG, che invia solo i chunk rilevanti, tiene fuori i distrattori.

Su BroadNet Inference

DeepSeek V4.1 Flash e GLM 5.3 di BroadNet accettano fino a 1.048.576 token, e Qwen3.8 27B fino a 262.144. BroadNet non accorcia il tuo contesto, quindi ciò che invii è ciò che il modello legge. Considera il limite un tetto, non un obiettivo. La guida alla context window da 1M token spiega quando una finestra piena conviene, e la gestione del contesto per agenti di lunga durata mostra come riassumere e potare. Il calcolatore della context window ti aiuta a dimensionare un prompt prima di inviarlo.

Errori comuni

  • Incollare ogni file “non si sa mai”. Il testo correlato ma irrilevante è esattamente ciò che Chroma usava nei test sui distrattori.
  • Testare con un “ago” che corrisponde parola per parola alla domanda. Le domande reali lo fanno di rado.

Domande frequenti

Il context rot è la stessa cosa del lost in the middle?

Sono collegati. Il lost in the middle riguarda il punto del prompt in cui si trova il fatto chiave. Il context rot riguarda il modo in cui la lunghezza totale dell’input, i distrattori e la struttura abbassano l’accuratezza nel complesso.

Una context window più grande risolve il context rot?

No. Una finestra più grande ti permette di inviare di più, ma Chroma ha visto le prestazioni calare al crescere dell’input su tutti i modelli testati. Invia ciò che serve al compito, non tutto quello che ci sta.

Come evitano il context rot gli agenti?

Tenendo corto il contesto di lavoro: riassumendo i turni vecchi, eliminando l’output dei tool non più utile e caricando i file quando servono invece che tutti insieme.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity