Bir milyon token kabul edebilen bir model, milyonuncu token’ı ilk bin token kadar iyi kullanmaz. Bu fark bağlam çürümesidir.
Nasıl çalışır
Chroma’nın raporu (Hong, Troynikov ve Huber, Temmuz 2025), aralarında GPT-4.1, Claude 4, Gemini 2.5 ve Qwen3’ün de bulunduğu 18 modeli, girdi büyürken zorluğu aynı kalan görevlerde test etti. Ana bulgusu: “model performance consistently degrades with increasing input length” (çeviri: model performansı girdi uzunluğu arttıkça tutarlı biçimde düşer).
Üç etki öne çıktı:
- Zayıf eşleşmeler en çok etkileniyor. Soru ile ilgili pasaj az kelime paylaştığında, uzunluk arttıkça doğruluk daha hızlı düştü.
- Dikkat dağıtıcılar zarar veriyor. “Even a single distractor reduces performance relative to the baseline” (çeviri: tek bir dikkat dağıtıcı bile performansı temel düzeye göre düşürür); dört tanesi durumu daha da kötüleştirdi. Dikkat dağıtıcı, aynı konudaki ama soruyu yanıtlamayan bir pasajdır.
- Yapı, tuhaf biçimde, önemli. Tutarlı dolgu metni, aynı cümlelerin karıştırılmış hâlinden daha çok zarar verdi. Yazarlar “structural coherence consistently hurts model performance” (çeviri: yapısal tutarlılık model performansına tutarlı biçimde zarar verir) sonucuna vardı.
Bu, konum etkilerini gösteren lost in the middle gibi önceki çalışmaların üzerine kurulur. Bağlam çürümesi konuyu genişletir: yalnızca konum değil, uzunluğun kendisi de doğruluğa mal olur.
Neden önemli
- Ajanlar. Bir kodlama veya araştırma ajanı dosya okumaları, loglar ve eski araç sonuçları biriktirir. Her biri potansiyel bir dikkat dağıtıcıdır. Doğruluk, bağlam penceresi dolmadan çok önce kayabilir.
- Maliyet ve gecikme. Daha uzun istemler daha fazla girdi token’ına mal olur ve işlenmesi daha uzun sürer; kırpmak aynı anda üç cephede yardımcı olur.
- Uzun bağlam mı, getirme mi. Bütün bir derlemi göndermek basittir, ancak yalnızca ilgili parçaları gönderen RAG dikkat dağıtıcıları dışarıda tutar.
BroadNet Inference’ta
BroadNet’in DeepSeek V4.1 Flash ve GLM 5.3 modelleri 1.048.576 token’a, Qwen3.8 27B ise 262.144 token’a kadar kabul eder. BroadNet bağlamınızı kırpmaz; ne gönderirseniz model onu okur. Sınırı bir hedef değil, bir tavan olarak görün. 1M token bağlam penceresi rehberi tam pencerenin ne zaman karşılığını verdiğini anlatır; uzun süre çalışan ajanlar için bağlam yönetimi ise özetleme ve budama kalıplarını gösterir. Bağlam penceresi hesaplayıcısı, bir istemi göndermeden önce boyutlandırmanıza yardımcı olur.
Sık yapılan hatalar
- Her dosyayı “ne olur ne olmaz” diye yapıştırmak. İlgili ama alakasız metin, tam olarak Chroma’nın dikkat dağıtıcı testlerinde kullandığı şeydir.
- Soruyla kelimesi kelimesine eşleşen bir iğneyle test etmek. Gerçek sorular nadiren böyledir.