BroadRouter
Mulakan

Context rot (kemerosotan konteks)

Dikemas kini

Context rot ialah kehilangan ketepatan dan kebolehpercayaan secara beransur-ansur yang ditunjukkan oleh model bahasa apabila input menjadi lebih panjang, walaupun tugasnya kekal sama dan input masih jauh dalam had tetingkap konteks. Istilah ini dipopularkan oleh laporan teknikal Chroma pada 2025 yang menguji 18 model.

Juga dikenali sebagai: kemerosotan konteks, context degradation, long-context degradation, context decay, context window degradation

Model yang boleh menerima sejuta token tidak menggunakan token ke-sejuta sebaik seribu token yang pertama. Jurang itulah context rot.

Cara ia berfungsi

Laporan Chroma (Hong, Troynikov dan Huber, Julai 2025) menguji 18 model, termasuk GPT-4.1, Claude 4, Gemini 2.5 dan Qwen3, pada tugas yang kekal sama sukar sementara input bertambah. Dapatan utamanya: “model performance consistently degrades with increasing input length.” (Terjemahan BroadRouter: “prestasi model sentiasa merosot apabila panjang input bertambah.”)

Tiga kesan menonjol:

  • Padanan lemah paling terjejas. Apabila soalan dan petikan yang berkaitan berkongsi sedikit perkataan, ketepatan jatuh lebih cepat apabila panjang bertambah.
  • Pengalih perhatian memudaratkan. “Even a single distractor reduces performance relative to the baseline” (Terjemahan BroadRouter: “Walaupun satu pengalih perhatian sahaja menurunkan prestasi berbanding garis dasar”), dan empat menjadikannya lebih teruk. Pengalih perhatian ialah petikan tentang topik yang sama yang tidak menjawab soalan.
  • Struktur penting, secara pelik. Teks pengisi yang koheren lebih memudaratkan berbanding ayat yang sama yang dikocok. Penulis mendapati “structural coherence consistently hurts model performance.” (Terjemahan BroadRouter: “koherensi struktur sentiasa menjejaskan prestasi model.”)

Ini dibina atas kajian terdahulu seperti lost in the middle, yang menunjukkan kesan kedudukan. Context rot meluaskan perkara itu: panjang itu sendiri, bukan hanya kedudukan, mengurangkan ketepatan.

Mengapa ia penting

  • Ejen. Ejen pengekodan atau penyelidikan mengumpul bacaan fail, log dan hasil alat lama. Setiap satu berpotensi menjadi pengalih perhatian. Ketepatan boleh merosot lama sebelum tetingkap konteks penuh.
  • Kos dan kependaman. Prompt yang lebih panjang juga menelan lebih banyak token input dan mengambil masa lebih lama untuk diproses, jadi memangkas membantu di tiga sudut sekali gus.
  • Konteks panjang vs pengambilan semula. Menghantar seluruh korpus memang mudah, tetapi RAG yang menghantar hanya cebisan berkaitan menjauhkan pengalih perhatian.

Di BroadNet Inference

DeepSeek V4.1 Flash dan GLM 5.3 di BroadNet menerima sehingga 1,048,576 token, dan Qwen3.8 27B sehingga 262,144. BroadNet tidak memangkas konteks anda, jadi apa yang anda hantar ialah apa yang dibaca model. Anggap had itu sebagai siling, bukan sasaran. Panduan tetingkap konteks 1M token menerangkan bila tetingkap penuh berbaloi, dan pengurusan konteks untuk ejen yang berjalan lama menunjukkan corak meringkas dan memangkas. Kalkulator tetingkap konteks membantu menganggar saiz prompt sebelum anda menghantarnya.

Kesilapan biasa

  • Menampal setiap fail “just in case” (untuk berjaga-jaga). Teks yang berkaitan tetapi tidak relevan itulah yang digunakan dalam ujian pengalih perhatian Chroma.
  • Menguji dengan “jarum” yang sepadan perkataan demi perkataan dengan soalan. Soalan sebenar jarang begitu.

Soalan lazim

Adakah context rot sama dengan lost in the middle?

Kedua-duanya berkaitan. Lost in the middle ialah tentang di mana fakta penting terletak dalam prompt. Context rot ialah tentang bagaimana jumlah panjang input, pengalih perhatian dan struktur menurunkan ketepatan secara keseluruhan.

Adakah tetingkap konteks yang lebih besar menyelesaikan context rot?

Tidak. Tetingkap yang lebih besar membolehkan anda menghantar lebih banyak, tetapi Chroma mendapati prestasi menurun apabila input bertambah pada setiap model yang diujinya. Hantar apa yang diperlukan oleh tugas, bukan semua yang muat.

Bagaimanakah ejen mengelakkan context rot?

Dengan mengekalkan konteks kerja yang pendek: meringkaskan giliran lama, membuang output alat yang basi, dan memuatkan fail apabila diperlukan dan bukan sekali gus.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity