Model yang bisa menerima sejuta token tidak memakai token ke-sejuta sebaik seribu token pertama. Celah itulah yang disebut context rot.
Cara kerjanya
Laporan Chroma (Hong, Troynikov, dan Huber, Juli 2025) menguji 18 model, termasuk GPT-4.1, Claude 4, Gemini 2.5, dan Qwen3, pada tugas yang tingkat kesulitannya tetap sementara input bertambah panjang. Temuan utamanya: “model performance consistently degrades with increasing input length” (terjemahan: performa model menurun secara konsisten seiring bertambahnya panjang input).
Tiga efek menonjol:
- Kecocokan lemah paling terdampak. Saat pertanyaan dan bagian teks yang relevan hanya berbagi sedikit kata, akurasi turun lebih cepat seiring bertambahnya panjang.
- Distraktor merugikan. “Even a single distractor reduces performance relative to the baseline” (terjemahan: bahkan satu distraktor saja menurunkan performa dibanding baseline), dan empat distraktor membuatnya lebih buruk. Distraktor adalah bagian teks dengan topik yang sama yang tidak menjawab pertanyaan.
- Struktur berpengaruh, secara aneh. Teks pengisi yang koheren lebih merugikan daripada kalimat yang sama yang diacak. Para penulis menemukan “structural coherence consistently hurts model performance” (terjemahan: koherensi struktural secara konsisten merugikan performa model).
Ini dibangun di atas penelitian sebelumnya seperti lost in the middle, yang menunjukkan efek posisi. Context rot memperluas poinnya: panjang itu sendiri, bukan hanya posisi, menurunkan akurasi.
Mengapa penting
- Agen. Agen coding atau riset menumpuk hasil baca file, log, dan hasil tool lama. Masing-masing berpotensi menjadi distraktor. Akurasi bisa merosot jauh sebelum context window penuh.
- Biaya dan latensi. Prompt yang lebih panjang juga memakan lebih banyak token input dan lebih lama diproses, jadi memangkasnya membantu di tiga sisi sekaligus.
- Konteks panjang vs retrieval. Mengirim seluruh korpus memang sederhana, tetapi RAG yang hanya mengirim chunk yang relevan menjauhkan distraktor.
Di BroadNet Inference
DeepSeek V4.1 Flash dan GLM 5.3 di BroadNet menerima hingga 1.048.576 token, dan Qwen3.8 27B hingga 262.144. BroadNet tidak memangkas konteks Anda, jadi apa yang Anda kirim itulah yang dibaca model. Anggap batas itu sebagai plafon, bukan target. Panduan context window 1 juta token membahas kapan window penuh sepadan, dan manajemen konteks untuk agen yang berjalan lama menunjukkan pola meringkas dan memangkas. Kalkulator context window membantu mengukur prompt sebelum Anda mengirimnya.
Kesalahan umum
- Menempelkan setiap file “untuk jaga-jaga”. Teks yang berkaitan tetapi tidak relevan persis seperti yang dipakai dalam uji distraktor Chroma.
- Menguji dengan “jarum” yang sama persis kata per kata dengan pertanyaannya. Pertanyaan nyata jarang begitu.