Bağlam penceresi, bir modelin tek bir istek için çalışma belleğidir. Modelin görmesi gereken her şey ve geri yazdığı her şey bu pencereye sığmak zorundadır.
Nasıl çalışır
Pencere token cinsinden ölçülür. Anthropic’in belgeleri bunu “all the text a language model can reference when generating a response, including the response itself” (çeviri: bir dil modelinin yanıt üretirken başvurabileceği, yanıtın kendisi dahil tüm metin) olarak tanımlar. Buna şunlar dahildir:
- sistem istemi ve önceki turlar dahil her mesaj;
- araç tanımları ve araç sonuçları;
- belgeler ve görseller;
- gizli akıl yürütme token’ları dahil çıktı.
Yani bütçe paylaşılır. 1.048.576 token’lık bir pencerede 1.040.000 token’lık bir istem, akıl yürütme ve yanıt için yaklaşık 8.000 token bırakır. max_tokens değerini bunu göz önünde tutarak ayarlayın.
Model önceki istekleri hatırlamaz. Bir sohbet yalnızca istemci her turda geçmişi yeniden gönderdiği için kesintisiz hissettirir; bu yüzden uzun bir konuşma pencereyi adım adım doldurur.
Neden önemli
- Yetenek. Büyük bir pencere, tek bir isteğin bütün bir kod tabanını, bir sözleşme setini veya saatlerce transkripti taşımasını sağlar; model bunlar arasındaki bilgileri ilişkilendirebilir.
- Maliyet. Token başına ücretli bir anahtarda penceredeki her token girdi olarak faturalandırılır. Önbelleğe alma tekrarlanan öneklerin fiyatını düşürür, ancak önbellekli token’lar da pencerede yer kaplar.
- Kalite. Fazlası her zaman daha iyi değildir. Anthropic çok uzun istemlerdeki doğruluk kaybına “context rot” (bağlam çürümesi) diyor. Gönderdiğiniz içeriği seçerek düzenleyin.
- Gecikme. Uzun istemlerde ilk token daha geç gelir.
BroadNet Inference’ta
| Model | Bağlam penceresi |
|---|---|
| DeepSeek V4.1 Flash | 1.048.576 token |
| GLM 5.3 | 1.048.576 token |
| Qwen3.8 27B | 262.144 token |
| BroadNet Gemma 4 VL 26B | 32.768 token |
Pencere istemi ve yanıtı birlikte kapsar; BroadNet bağlamınızı kırpmaz. DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B yanıt vermeden önce akıl yürütür, bu yüzden pay bırakın: dolu bir pencere ve küçük bir çıktı bütçesi boş yanıt döndürür. Bkz. akıl yürütme modelleri neden boş yanıt döndürür.
Sınırsız planlar, DeepSeek V4.1 Flash’ta 1M token’lık pencerenin tamamını içerir. Bu kadar bağlamın ne zaman getirmeden (retrieval) daha iyi olduğunu öğrenmek için 1M token’lık bağlam penceresi rehberini okuyun.
Sık yapılan hatalar
- Pencereyi çıktı uzunluğu sanmak. Çıktı sınırları
max_tokensile ayrıca belirlenir. - Tüm geçmişi sonsuza kadar yeniden göndermek. Pencere dolmadan eski turları özetleyin veya çıkarın.