BroadRouter
Başlayın

Bağlam penceresi (context window)

Güncellendi

Bağlam penceresi, bir dil modelinin tek bir istekte işleyebileceği en fazla token sayısıdır. Sistem istemini, konuşma geçmişini, araç tanımlarını, görselleri ve akıl yürütme token'ları dahil üretilen çıktıyı kapsar. Sığmayan her şey kesilmeli, özetlenmeli veya birden fazla isteğe bölünmelidir.

Diğer adları: bağlam penceresi, bağlam uzunluğu, bağlam sınırı, token sınırı, context window, context length, context size, token limit, context limit

Bağlam penceresi, bir modelin tek bir istek için çalışma belleğidir. Modelin görmesi gereken her şey ve geri yazdığı her şey bu pencereye sığmak zorundadır.

Nasıl çalışır

Pencere token cinsinden ölçülür. Anthropic’in belgeleri bunu “all the text a language model can reference when generating a response, including the response itself” (çeviri: bir dil modelinin yanıt üretirken başvurabileceği, yanıtın kendisi dahil tüm metin) olarak tanımlar. Buna şunlar dahildir:

  • sistem istemi ve önceki turlar dahil her mesaj;
  • araç tanımları ve araç sonuçları;
  • belgeler ve görseller;
  • gizli akıl yürütme token’ları dahil çıktı.

Yani bütçe paylaşılır. 1.048.576 token’lık bir pencerede 1.040.000 token’lık bir istem, akıl yürütme ve yanıt için yaklaşık 8.000 token bırakır. max_tokens değerini bunu göz önünde tutarak ayarlayın.

Model önceki istekleri hatırlamaz. Bir sohbet yalnızca istemci her turda geçmişi yeniden gönderdiği için kesintisiz hissettirir; bu yüzden uzun bir konuşma pencereyi adım adım doldurur.

Neden önemli

  • Yetenek. Büyük bir pencere, tek bir isteğin bütün bir kod tabanını, bir sözleşme setini veya saatlerce transkripti taşımasını sağlar; model bunlar arasındaki bilgileri ilişkilendirebilir.
  • Maliyet. Token başına ücretli bir anahtarda penceredeki her token girdi olarak faturalandırılır. Önbelleğe alma tekrarlanan öneklerin fiyatını düşürür, ancak önbellekli token’lar da pencerede yer kaplar.
  • Kalite. Fazlası her zaman daha iyi değildir. Anthropic çok uzun istemlerdeki doğruluk kaybına “context rot” (bağlam çürümesi) diyor. Gönderdiğiniz içeriği seçerek düzenleyin.
  • Gecikme. Uzun istemlerde ilk token daha geç gelir.

BroadNet Inference’ta

Model Bağlam penceresi
DeepSeek V4.1 Flash 1.048.576 token
GLM 5.3 1.048.576 token
Qwen3.8 27B 262.144 token
BroadNet Gemma 4 VL 26B 32.768 token

Pencere istemi ve yanıtı birlikte kapsar; BroadNet bağlamınızı kırpmaz. DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B yanıt vermeden önce akıl yürütür, bu yüzden pay bırakın: dolu bir pencere ve küçük bir çıktı bütçesi boş yanıt döndürür. Bkz. akıl yürütme modelleri neden boş yanıt döndürür.

Sınırsız planlar, DeepSeek V4.1 Flash’ta 1M token’lık pencerenin tamamını içerir. Bu kadar bağlamın ne zaman getirmeden (retrieval) daha iyi olduğunu öğrenmek için 1M token’lık bağlam penceresi rehberini okuyun.

Sık yapılan hatalar

  • Pencereyi çıktı uzunluğu sanmak. Çıktı sınırları max_tokens ile ayrıca belirlenir.
  • Tüm geçmişi sonsuza kadar yeniden göndermek. Pencere dolmadan eski turları özetleyin veya çıkarın.

Sık sorulan sorular

İstemim bağlam penceresinden uzunsa ne olur?

API isteği genellikle 400 hatasıyla reddeder. Örneğin Anthropic "prompt is too long" (çeviri: istem çok uzun) döndürür. Bazı sohbet uygulamaları eski mesajları sizin için kırpar; çoğu API kırpmaz.

Daha büyük bağlam penceresi her zaman daha mı iyi?

Hayır. Uzun istemler daha pahalıdır ve işlenmesi daha uzun sürer; Anthropic de token sayısı arttıkça doğruluğun ve hatırlamanın düşebileceğini belirtiyor. Görevin ihtiyaç duyduğu kadarını gönderin.

BroadNet bağlamımı kırpıyor mu?

Hayır. BroadNet Inference bağlamınızı kırpmaz. İstek sığmıyorsa onu kendiniz kısaltın.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor