BroadRouter

Önek önbelleğe alınsın diye istem nasıl yapılandırılır?

BroadNet Inference ekibi · 4 dk okuma · Yayımlandı · Güncellendi

Her isteği en sabitten en değişkene doğru sıralayın: sistem istemi, araç tanımları, başvuru belgeleri, konuşma geçmişi ve en sonda yeni mesaj. Her katmanı çağrılar arasında bayt bayt aynı tutun: en üstte zaman damgası veya kimlik olmasın, araçlar sıralı olsun, JSON deterministik serileştirilsin ve geçmişe yalnızca ekleme yapılsın. Ardından önekin gerçekten yeniden kullanıldığını doğrulamak için cached_tokens değerini ölçün.

Önbellekli girdi token’ları ucuzdur; BroadNet Inference’ta DeepSeek V4.1 Flash bunları 1M başına $0.175 yerine $0.0055 ile faturalandırır. Fiyatı ve usage alanının nasıl okunacağını önbellekli token’lar yazısı anlatıyor. Bu yazı ise tasarım işiyle ilgili: önbelleğin gerçekten isabet etmesi için bir istemi nasıl düzenleyeceğiniz ve bunu nasıl kanıtlayacağınız.

İstem sırası önbellek isabet oranını neden belirler?

Tüm büyük sağlayıcılar önek bazında önbelleğe alır. OpenAI’nin rehberi, yeniden kullanım için işlenmiş önekin tamamının eşleşmesi gerektiğini söyler. DeepSeek belgeleri de aynı kuralı anlatır: bir istek yalnızca saklanan bir önekle tamamen eşleşirse isabet eder; yarı yolda ayrışan bir istek isabet etmez. Anthropic ise önbelleğini araçlar, sistem, mesajlar sırasıyla kurar.

Arka planda sunucu, o önek için oluşturduğu KV önbelleğini yeniden kullanır. Yani önbellek ilk token’dan başlayan düz bir çizgidir. Önceki çağrıdan farklı olan ilk bayt, yeniden kullanılabilir kısmı bitirir. 50.000 token’lık bir istemin en üstündeki tek satırlık bir zaman damgası, size 50.000 token’ın tamamını tam fiyattan ödetir.

Doğru katman sırası nedir?

Katman Değişme sıklığı Örnek Kural
1. Sistem istemi Dağıtım başına Rol, kurallar, çıktı formatı Tarih, kimlik, kullanıcı adı yok
2. Araç tanımları Dağıtım başına Fonksiyon şemaları Sıralı, deterministik JSON
3. Başvuru materyali Oturum veya görev başına Depo dosyaları, sözleşmeler, ürün belgeleri Sabit sıra, sabit etiketler
4. Konuşma geçmişi Tur başına, yalnızca ekleme Önceki kullanıcı ve asistan turları Asla düzenlemeyin; yalnızca ekleyin
5. Yeni mesaj Her çağrıda Soru, gerekiyorsa şu anki zamanla birlikte Değişken veri buraya

Değişken olan her şeyin yeri 5. katmandır: güncel tarih, kullanıcının yerel ayarı, bir istek kimliği, soruya göre değişen getirilmiş parçalar.

Öneki farkına varmadan ne bozar?

  1. Sözlük sırası. Framework’ler tools dizisini çoğu zaman bir sözlükten veya kayıt defterinden oluşturur. Eklentiler farklı sırayla yüklenirse baytlar değişir.
  2. JSON biçimlendirmesi. json.dumps(x) ve json.dumps(x, indent=2) farklı öneklerdir. Anahtar sırası farklı iki serileştirici de öyle.
  3. Şablon boşlukları. Sondaki bir boşluk ya da bir kod yolundan gelen \r\n ile diğerinden gelen \n.
  4. Dinamik araç listeleri. Kullanıcının kullanamayacağı araçları kaldırmak öneki değiştirir. OpenAI’nin rehberi tanımları sabit tutmayı ve kullanımı tool_choice ya da izin verilen araçlar ayarıyla kısıtlamayı önerir.
  5. Geçmişi yerinde özetlemek. Eski turları bir özete dönüştürmek, sistem isteminden sonraki her şeyi sıfırlar. Seyrek ve büyük adımlarla özetleyin.
  6. Talimatlardan önce getirme. Sistem istemi ile araçlar arasına konan RAG parçaları sorguya göre değişir ve araç katmanını da bozar.

Önbellek dostu bir isteği kodda nasıl kurarsınız?

Her katmanı yalnızca sabit girdilerin bir fonksiyonu yapın ve deterministik olarak serileştirin:

import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

SYSTEM = open("prompts/system.md").read()  # versioned file, no templating

def stable_tools(registry: dict) -> list:
    # Sort by name, sort keys inside each schema.
    return [json.loads(json.dumps(registry[name], sort_keys=True)) for name in sorted(registry)]

def docs_block(paths: list[str]) -> str:
    parts = [f"=== {p} ===\n{open(p).read()}" for p in sorted(paths)]
    return "\n\n".join(parts)

def build_messages(history: list, user_text: str, now_iso: str, doc_paths: list[str]):
    return (
        [{"role": "system", "content": SYSTEM},
         {"role": "user", "content": docs_block(doc_paths)}]
        + history                                   # append-only
        + [{"role": "user", "content": f"(now: {now_iso})\n{user_text}"}]
    )

resp = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=build_messages(history, question, now_iso, files),
    tools=stable_tools(TOOLS),
)
history += [{"role": "user", "content": question}, resp.choices[0].message.model_dump(exclude_none=True)]

İki ayrıntı var. Şu anki zaman sistem istemine değil, son mesaja girer. Geçmiş de asistan mesajını tam olarak döndüğü haliyle saklar; böylece sonraki çağrı aynı baytları yeniden gönderir.

Önekin önbelleklendiğini nasıl kanıtlarsınız?

CI’da veya bir notebook’ta iki çağrılık bir test çalıştırın:

  1. Gerçek sistem isteminiz, araçlarınız ve belgelerinizle bir istek oluşturun.
  2. Gönderin. usage.prompt_tokens değerini not edin.
  3. Yalnızca son kullanıcı mesajını değiştirip yeniden gönderin.
  4. İkinci çağrıda usage.prompt_tokens_details.cached_tokens değerini okuyun. Ortak önekin neredeyse tamamını kapsamalıdır.
  5. Sıfır veya küçükse, serileştirilmiş istek gövdelerini bayt bayt karşılaştırın. İlk fark sizin önbellek bozucunuzdur.

Önbellekleme çoğu sağlayıcıda en iyi çaba esasına dayanır ve DeepSeek belgeleri bunu açıkça söyler; bu yüzden tek bir ıska bir hatanın kanıtı değildir. Sürekli ıskalama ise öyledir. Kullanım kayıtlarınızda istek başına önbellekli token’ların istem token’larına oranını izleyin ve daha yüksek bir isabet oranının ne kazandıracağını görmek için istem önbellekleme hesaplayıcısını kullanın.

Ajanlar ve uzun bağlam için ne değişir?

En çok ajanlar kazanır, çünkü görev başına aynı büyük öneki onlarca kez yeniden gönderirler. İki alışkanlık önemlidir:

  • Görev başına tek konuşma. Her alt adım için yeni bir konuşma başlatmak öneki çöpe atar.
  • Dosyaları bir kez, en üste yakın okuyun. Ajan bir dosyayı yeniden okursa, dosya değişmediyse eskisini değiştirmek yerine yeni kopyayı sona ekleyin.

1M token’lık bağlam penceresiyle 3. katman bütün bir depoyu tutabilir. Token başına bir anahtarda bu ancak önbelleğe alındığında karşılanabilir olur; istemler büyüdükçe katman sırasının daha çok önem kazanması bu yüzdendir. Önbellekli önekler ilk token süresini de genellikle kısaltır; bkz. TTFT ve işlem hacmi.

BroadNet Inference nereye oturuyor

BroadNet Inference’ta usage bloğu, model raporladığında prompt_tokens_details.cached_tokens değerini içerir; DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B üzerindeki önbellekli girdi, fiyat sayfasında listelenen düşük ücretle faturalandırılır. BroadNet belgelerinde açık önbellek kesme noktaları veya bir önbellek anahtarı parametresi sunmaz; bu yüzden yukarıdaki düzen tekniğin tamamıdır. Sınırsız bir planda önbellek faturayı değiştirmez, çünkü oturumlarda token sayacı yoktur; ama aynı yapı gecikmeye yine de yardımcı olur.

Sık sorulan sorular

İstem önbellek isabet oranım neden düşük?

İstemin başına yakın bir şey her çağrıda değişiyor. Olağan nedenler: sistem isteminde bir zaman damgası veya istek kimliği, farklı sırayla serileştirilen araçlar, talimatlardan önce yerleştirilen getirilmiş belgeler ya da özetlenip yeniden yazılan geçmiş.

Kullanıcı sorusu uzun belgelerden önce mi sonra mı gelmeli?

Sonra. Belgeleri başa, soruyu sona koyun. Böylece belgeler yeniden kullanılabilir bir önek oluşturur; birçok model de soru materyalin ardından geldiğinde daha iyi yanıt verir.

Araç tanımları istem önbelleklemeyi bozar mı?

Yalnızca değişirlerse. Araçlar önekin parçasıdır; bu yüzden aynı seti aynı sırada ve aynı JSON ile tutun. Tek bir çağrıda araçları sınırlamak için listeyi düzenlemek yerine tool_choice kullanın.

Few-shot örneklerin sırası önbellekleme için önemli mi?

Evet. Karıştırılmış örnekler her seferinde farklı bir önek üretir. Sırayı sabitleyin ya da istek başına değişen örnekleri sabit kısmın sonrasına koyun.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor