İstem bir kez yazdığınız şeydir. Bağlam ise modelin her turda gördüğü her şeydir ve bir ajanda her turda değişir.
Nasıl çalışır
Anthropic’in mühendislik yazısı bağlam mühendisliğini çıkarım sırasında “the set of strategies for curating and maintaining the optimal set of tokens” (çeviri: en uygun token kümesini düzenleme ve sürdürme stratejileri bütünü) olarak tanımlar; buna istemin ötesindeki bilgiler de dahildir. Hedefi, istenen sonucu olası kılan “smallest possible set of high-signal tokens” (çeviri: mümkün olan en küçük yüksek sinyalli token kümesi) bulmak olarak koyar.
Bunun nedeni dikkatin sınırlı olmasıdır. Yazıya göre modellerin bir “attention budget” (çeviri: dikkat bütçesi) vardır ve bağlam büyüdükçe hatırlama düşer; yazı buna bağlam çürümesi der. Konum da önemlidir: uzun bir istemin ortasındaki bilgiler daha kolay gözden kaçar (lost in the middle).
Yazı, uzun süre çalışan ajanlar için birkaç teknik sayar:
| Teknik | Ne yapar |
|---|---|
| Sıkıştırma | Sınıra yaklaşınca geçmişi özetler ve özetten devam eder |
| Araç sonucu temizleme | Eski ham araç çıktılarını geçmişten çıkarır |
| Yapılandırılmış not alma | Ajan, bağlamın dışındaki bir dosyaya not yazar ve sonra yeniden okur |
| Alt ajanlar | Odaklı işi temiz bir bağlamda yapar ve kısa bir özet döndürür |
| Tam zamanında getirme | Referansları (dosya yolları, sorgular) tutar ve veriyi yalnızca gerektiğinde yükler |
Bir kodlama ajanında tek bir turun bütçesine örnek:
System prompt + rules 4,000 tokens
Tool definitions 6,000 tokens
Notes file 1,500 tokens
History (compacted) 20,000 tokens
Latest tool output 8,000 tokens <- largest single item
Neden önemli
- Kalite. Bağlamda daha az gürültü, genellikle daha iyi yanıtlar ve daha az atlanan talimat demektir.
- Maliyet. Token başına faturalandırmada bağlamdaki her token her turda faturalanır. Başa yerleştirilen sabit içerik, önbellekli girdi olarak daha ucuzdur; bkz. önbellekleme için istem yapısı.
- Çalışma süresi. İyi bağlam yönetimi, bir ajanın bağlam penceresine takılmadan saatlerce çalışmasını sağlar.
BroadNet Inference’ta
Bağlam mühendisliği sizin kodunuzda gerçekleşir: BroadNet’in Chat Completions API’si ne mesaj listesi gönderirseniz onu alır. DeepSeek V4.1 Flash ve GLM 5.3 1.048.576 token, Qwen3.8 27B 262.144 token ve Gemma 4 VL 26B 32K token kabul eder; bu yüzden sıkı bir bağlam en çok Gemma’da önemlidir.
Model bildirdiğinde usage.prompt_tokens_details.cached_tokens, önbellekten okunan token’ları gösterir; bunlar kullandıkça öde planında önbellekli girdi fiyatıyla faturalanır. Uzun süre çalışan ajanlar için bağlam yönetimi beş pratik kural verir; ajan token bütçesi yazısı da ajan token’larının nereye gittiğini gösterir.