Model yang boleh menerima sejuta token tidak menggunakan token ke-sejuta sebaik seribu token yang pertama. Jurang itulah context rot.
Cara ia berfungsi
Laporan Chroma (Hong, Troynikov dan Huber, Julai 2025) menguji 18 model, termasuk GPT-4.1, Claude 4, Gemini 2.5 dan Qwen3, pada tugas yang kekal sama sukar sementara input bertambah. Dapatan utamanya: “model performance consistently degrades with increasing input length.” (Terjemahan BroadRouter: “prestasi model sentiasa merosot apabila panjang input bertambah.”)
Tiga kesan menonjol:
- Padanan lemah paling terjejas. Apabila soalan dan petikan yang berkaitan berkongsi sedikit perkataan, ketepatan jatuh lebih cepat apabila panjang bertambah.
- Pengalih perhatian memudaratkan. “Even a single distractor reduces performance relative to the baseline” (Terjemahan BroadRouter: “Walaupun satu pengalih perhatian sahaja menurunkan prestasi berbanding garis dasar”), dan empat menjadikannya lebih teruk. Pengalih perhatian ialah petikan tentang topik yang sama yang tidak menjawab soalan.
- Struktur penting, secara pelik. Teks pengisi yang koheren lebih memudaratkan berbanding ayat yang sama yang dikocok. Penulis mendapati “structural coherence consistently hurts model performance.” (Terjemahan BroadRouter: “koherensi struktur sentiasa menjejaskan prestasi model.”)
Ini dibina atas kajian terdahulu seperti lost in the middle, yang menunjukkan kesan kedudukan. Context rot meluaskan perkara itu: panjang itu sendiri, bukan hanya kedudukan, mengurangkan ketepatan.
Mengapa ia penting
- Ejen. Ejen pengekodan atau penyelidikan mengumpul bacaan fail, log dan hasil alat lama. Setiap satu berpotensi menjadi pengalih perhatian. Ketepatan boleh merosot lama sebelum tetingkap konteks penuh.
- Kos dan kependaman. Prompt yang lebih panjang juga menelan lebih banyak token input dan mengambil masa lebih lama untuk diproses, jadi memangkas membantu di tiga sudut sekali gus.
- Konteks panjang vs pengambilan semula. Menghantar seluruh korpus memang mudah, tetapi RAG yang menghantar hanya cebisan berkaitan menjauhkan pengalih perhatian.
Di BroadNet Inference
DeepSeek V4.1 Flash dan GLM 5.3 di BroadNet menerima sehingga 1,048,576 token, dan Qwen3.8 27B sehingga 262,144. BroadNet tidak memangkas konteks anda, jadi apa yang anda hantar ialah apa yang dibaca model. Anggap had itu sebagai siling, bukan sasaran. Panduan tetingkap konteks 1M token menerangkan bila tetingkap penuh berbaloi, dan pengurusan konteks untuk ejen yang berjalan lama menunjukkan corak meringkas dan memangkas. Kalkulator tetingkap konteks membantu menganggar saiz prompt sebelum anda menghantarnya.
Kesilapan biasa
- Menampal setiap fail “just in case” (untuk berjaga-jaga). Teks yang berkaitan tetapi tidak relevan itulah yang digunakan dalam ujian pengalih perhatian Chroma.
- Menguji dengan “jarum” yang sepadan perkataan demi perkataan dengan soalan. Soalan sebenar jarang begitu.