Un modello che accetta un milione di token non usa il milionesimo token bene quanto i primi mille. Quella differenza è il context rot.
Come funziona
Il report di Chroma (Hong, Troynikov e Huber, luglio 2025) ha testato 18 modelli, tra cui GPT-4.1, Claude 4, Gemini 2.5 e Qwen3, su compiti che restavano ugualmente difficili mentre l’input cresceva. Il risultato principale: “model performance consistently degrades with increasing input length” (traduzione: le prestazioni dei modelli peggiorano costantemente con l’aumentare della lunghezza dell’input).
Sono emersi tre effetti:
- Le corrispondenze deboli soffrono di più. Quando la domanda e il passaggio rilevante hanno poche parole in comune, l’accuratezza calava più in fretta con la lunghezza.
- I distrattori fanno male. “Even a single distractor reduces performance relative to the baseline” (traduzione: anche un solo distrattore riduce le prestazioni rispetto al riferimento), e con quattro andava peggio. Un distrattore è un passaggio sullo stesso argomento che non risponde alla domanda.
- La struttura conta, in modo strano. Un testo di riempimento coerente peggiorava i risultati più delle stesse frasi mescolate. Gli autori hanno rilevato che “structural coherence consistently hurts model performance” (traduzione: la coerenza strutturale peggiora costantemente le prestazioni del modello).
Il report si basa su lavori precedenti come lost in the middle, che aveva mostrato gli effetti della posizione. Il context rot allarga il discorso: anche la lunghezza in sé, non solo la posizione, costa accuratezza.
Perché è importante
- Agenti. Un agente di coding o di ricerca accumula letture di file, log e vecchi risultati dei tool. Ognuno è un potenziale distrattore. L’accuratezza può scendere molto prima che la context window sia piena.
- Costo e latenza. I prompt più lunghi costano anche più token di input e richiedono più tempo di elaborazione, quindi accorciarli aiuta su tre fronti insieme.
- Contesto lungo o recupero. Inviare un intero corpus è semplice, ma la RAG, che invia solo i chunk rilevanti, tiene fuori i distrattori.
Su BroadNet Inference
DeepSeek V4.1 Flash e GLM 5.3 di BroadNet accettano fino a 1.048.576 token, e Qwen3.8 27B fino a 262.144. BroadNet non accorcia il tuo contesto, quindi ciò che invii è ciò che il modello legge. Considera il limite un tetto, non un obiettivo. La guida alla context window da 1M token spiega quando una finestra piena conviene, e la gestione del contesto per agenti di lunga durata mostra come riassumere e potare. Il calcolatore della context window ti aiuta a dimensionare un prompt prima di inviarlo.
Errori comuni
- Incollare ogni file “non si sa mai”. Il testo correlato ma irrilevante è esattamente ciò che Chroma usava nei test sui distrattori.
- Testare con un “ago” che corrisponde parola per parola alla domanda. Le domande reali lo fanno di rado.