BroadRouter
Başlayın

Bağlam mühendisliği (context engineering)

Güncellendi

Bağlam mühendisliği (context engineering), bir dil modelinin her istekte gördüğü token kümesini, yani sistem istemini, araç tanımlarını, geçmişi, getirilen belgeleri ve notları seçme ve sürdürme işidir; amaç, modelin görevi iyi yapması için gereken en küçük, en yüksek sinyalli bilgiyi vermektir.

Diğer adları: bağlam mühendisliği, bağlam yönetimi, ajan bağlam yönetimi, context engineering, context management, agent context engineering

İstem bir kez yazdığınız şeydir. Bağlam ise modelin her turda gördüğü her şeydir ve bir ajanda her turda değişir.

Nasıl çalışır

Anthropic’in mühendislik yazısı bağlam mühendisliğini çıkarım sırasında “the set of strategies for curating and maintaining the optimal set of tokens” (çeviri: en uygun token kümesini düzenleme ve sürdürme stratejileri bütünü) olarak tanımlar; buna istemin ötesindeki bilgiler de dahildir. Hedefi, istenen sonucu olası kılan “smallest possible set of high-signal tokens” (çeviri: mümkün olan en küçük yüksek sinyalli token kümesi) bulmak olarak koyar.

Bunun nedeni dikkatin sınırlı olmasıdır. Yazıya göre modellerin bir “attention budget” (çeviri: dikkat bütçesi) vardır ve bağlam büyüdükçe hatırlama düşer; yazı buna bağlam çürümesi der. Konum da önemlidir: uzun bir istemin ortasındaki bilgiler daha kolay gözden kaçar (lost in the middle).

Yazı, uzun süre çalışan ajanlar için birkaç teknik sayar:

Teknik Ne yapar
Sıkıştırma Sınıra yaklaşınca geçmişi özetler ve özetten devam eder
Araç sonucu temizleme Eski ham araç çıktılarını geçmişten çıkarır
Yapılandırılmış not alma Ajan, bağlamın dışındaki bir dosyaya not yazar ve sonra yeniden okur
Alt ajanlar Odaklı işi temiz bir bağlamda yapar ve kısa bir özet döndürür
Tam zamanında getirme Referansları (dosya yolları, sorgular) tutar ve veriyi yalnızca gerektiğinde yükler

Bir kodlama ajanında tek bir turun bütçesine örnek:

System prompt + rules          4,000 tokens
Tool definitions               6,000 tokens
Notes file                     1,500 tokens
History (compacted)           20,000 tokens
Latest tool output             8,000 tokens   <- largest single item

Neden önemli

  • Kalite. Bağlamda daha az gürültü, genellikle daha iyi yanıtlar ve daha az atlanan talimat demektir.
  • Maliyet. Token başına faturalandırmada bağlamdaki her token her turda faturalanır. Başa yerleştirilen sabit içerik, önbellekli girdi olarak daha ucuzdur; bkz. önbellekleme için istem yapısı.
  • Çalışma süresi. İyi bağlam yönetimi, bir ajanın bağlam penceresine takılmadan saatlerce çalışmasını sağlar.

BroadNet Inference’ta

Bağlam mühendisliği sizin kodunuzda gerçekleşir: BroadNet’in Chat Completions API’si ne mesaj listesi gönderirseniz onu alır. DeepSeek V4.1 Flash ve GLM 5.3 1.048.576 token, Qwen3.8 27B 262.144 token ve Gemma 4 VL 26B 32K token kabul eder; bu yüzden sıkı bir bağlam en çok Gemma’da önemlidir.

Model bildirdiğinde usage.prompt_tokens_details.cached_tokens, önbellekten okunan token’ları gösterir; bunlar kullandıkça öde planında önbellekli girdi fiyatıyla faturalanır. Uzun süre çalışan ajanlar için bağlam yönetimi beş pratik kural verir; ajan token bütçesi yazısı da ajan token’larının nereye gittiğini gösterir.

Sık sorulan sorular

Bağlam mühendisliğinin istem mühendisliğinden farkı ne?

İstem mühendisliği iyi talimat yazmakla ilgilidir. Bağlam mühendisliği ise modelin bir turda gördüğü her şeyi, yani araç tanımlarını, geçmişi ve getirilen verileri, ayrıca bu kümenin uzun bir oturum boyunca nasıl değiştiğini kapsar.

Neden sadece daha büyük bir bağlam penceresi kullanmıyoruz?

Daha büyük bir pencere sorunu erteler ama ortadan kaldırmaz. Anthropic, bağlam büyüdükçe hatırlamanın düştüğünü belirtir; token başına faturalandırmada da her ek token her turda yeniden ödenir.

İlk olarak ne denemeliyim?

Bağlamınızı neyin doldurduğunu ölçün. En büyük kısımlar genellikle araç çıktıları ve eski geçmiştir; bunları kırpmak veya özetlemek ucuz bir denemedir.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor