Kahit kayang tumanggap ng isang model ng isang milyong token, hindi nito nagagamit ang ika-isang milyong token nang kasinghusay ng unang isang libo. Ang agwat na iyon ang context rot.
Paano ito gumagana
Sinubukan ng report ng Chroma (Hong, Troynikov at Huber, Hulyo 2025) ang 18 model, kasama ang GPT-4.1, Claude 4, Gemini 2.5 at Qwen3, sa mga task na pareho ang hirap habang lumalaki ang input. Ang pangunahing natuklasan nito: “model performance consistently degrades with increasing input length.” (Salin ng BroadRouter: “palaging bumababa ang performance ng model habang humahaba ang input.”)
Tatlong epekto ang namukod-tangi:
- Pinakaapektado ang mahihinang match. Kapag kakaunti ang salitang pareho sa tanong at sa kaugnay na passage, mas mabilis bumaba ang accuracy habang humahaba ang input.
- Nakakasama ang mga distractor. “Even a single distractor reduces performance relative to the baseline” (Salin ng BroadRouter: “kahit isang distractor lang ay nagpapababa ng performance kumpara sa baseline”), at mas lumala pa sa apat. Ang distractor ay passage na pareho ang paksa pero hindi sumasagot sa tanong.
- Mahalaga ang istruktura, sa kakaibang paraan. Mas nakasama ang magkakaugnay na filler text kaysa sa parehong mga pangungusap na pinaghalo-halo. Natuklasan ng mga awtor na “structural coherence consistently hurts model performance.” (Salin ng BroadRouter: “palaging nakakasama sa performance ng model ang maayos na istruktura ng text.”)
Nakabatay ito sa naunang pag-aaral gaya ng lost in the middle, na nagpakita ng epekto ng posisyon. Pinalalawak ito ng context rot: ang haba mismo, hindi lang ang posisyon, ang nagpapababa ng accuracy.
Bakit ito mahalaga
- Mga agent. Nag-iipon ang isang coding o research agent ng mga binasang file, log at lumang tool result. Posibleng distractor ang bawat isa. Puwedeng bumaba ang accuracy bago pa mapuno ang context window.
- Gastos at latency. Mas malaki rin ang gastos sa input token ng mas mahahabang prompt at mas matagal itong i-process, kaya sa tatlong aspeto nakakatulong ang pagbabawas.
- Long-context vs retrieval. Simple ang pagpapadala ng buong corpus, pero ang RAG na nagpapadala lang ng mga kaugnay na chunk ay naglalayo sa mga distractor.
Sa BroadNet Inference
Tumatanggap ang DeepSeek V4.1 Flash at GLM 5.3 ng BroadNet ng hanggang 1,048,576 token, at ang Qwen3.8 27B ng hanggang 262,144. Hindi binabawasan ng BroadNet ang context mo, kaya kung ano ang ipinadala mo, iyon ang binabasa ng model. Ituring ang limit bilang kisame, hindi target. Tinatalakay ng gabay sa 1M-token na context window kung kailan sulit ang punong window, at ipinapakita ng context management para sa mga long-running agent ang mga pattern ng pag-summarize at pag-prune. Nakakatulong ang context window calculator na sukatin ang prompt bago mo ito ipadala.
Mga karaniwang pagkakamali
- Pag-paste ng bawat file “just in case.” Ang text na kaugnay pero hindi relevant ang mismong ginamit sa mga distractor test ng Chroma.
- Pag-test gamit ang needle na salita-por-salitang tugma sa tanong. Bihira itong mangyari sa totoong mga tanong.