BroadRouter

Cara menyusun prompt supaya prefix di-cache

Oleh pasukan BroadNet Inference · 4 minit bacaan · Diterbitkan · Dikemas kini

Susun setiap permintaan daripada yang paling stabil kepada yang paling kurang stabil: system prompt, definisi tool, dokumen rujukan, sejarah perbualan, kemudian mesej baharu. Jadikan setiap lapisan sama byte demi byte antara panggilan: tiada cap masa atau ID di bahagian atas, tools disusun, JSON disiri secara deterministik, dan sejarah hanya ditambah. Kemudian ukur cached_tokens untuk mengesahkan prefix benar-benar digunakan semula.

Token input cache murah, dan di BroadNet Inference, DeepSeek V4.1 Flash mengebilnya pada $0.0055 bagi setiap 1M dan bukannya $0.175. Penerangan token cache merangkumi harga dan cara membaca medan usage. Artikel ini tentang kerja reka bentuk: cara menyusun prompt supaya cache benar-benar kena, dan cara membuktikannya.

Mengapakah urutan prompt menentukan kadar cache hit?

Setiap penyedia utama membuat cache mengikut prefix. Panduan OpenAI menyatakan penggunaan semula memerlukan keseluruhan prefix yang dirender sepadan. Dokumentasi DeepSeek menerangkan peraturan yang sama: permintaan hanya kena jika ia sepadan sepenuhnya dengan prefix yang disimpan, dan permintaan yang menyimpang di pertengahan tidak kena. Anthropic membina cachenya dalam urutan tools, system, messages.

Di sebalik tabir, pelayan menggunakan semula KV cache yang dibinanya untuk prefix itu. Jadi cache ialah garis lurus dari token pertama. Byte pertama yang berbeza daripada panggilan terakhir menamatkan bahagian yang boleh digunakan semula. Satu baris cap masa di bahagian atas prompt 50,000 token menyebabkan anda membayar kesemua 50,000 token pada harga penuh.

Apakah urutan lapisan yang betul?

Lapisan Berubah Contoh Peraturan
1. System prompt Setiap deploy Peranan, peraturan, format output Tiada tarikh, ID, nama pengguna
2. Definisi tool Setiap deploy Skema fungsi Disusun, JSON deterministik
3. Bahan rujukan Setiap sesi atau tugasan Fail repo, kontrak, dokumentasi produk Urutan tetap, label stabil
4. Sejarah perbualan Setiap giliran, tambah sahaja Giliran pengguna dan pembantu terdahulu Jangan sunting; tambah sahaja
5. Mesej baharu Setiap panggilan Soalan, ditambah masa semasa jika perlu Data yang berubah-ubah diletakkan di sini

Lapisan 5 ialah tempat untuk apa-apa yang berubah-ubah: tarikh semasa, lokal pengguna, ID permintaan, petikan yang diambil yang berbeza setiap soalan.

Apakah yang merosakkan prefix tanpa anda sedari?

  1. Urutan kamus. Rangka kerja sering membina tatasusunan tools daripada dict atau registri. Jika pemalam dimuatkan dalam urutan berbeza, byte berubah.
  2. Format JSON. json.dumps(x) dan json.dumps(x, indent=2) ialah prefix yang berbeza. Begitu juga dua penyiri dengan urutan kunci yang berbeza.
  3. Ruang kosong templat. Ruang di hujung, atau \r\n daripada satu laluan kod dan \n daripada laluan lain.
  4. Senarai tool dinamik. Membuang tools yang tidak boleh digunakan oleh pengguna mengubah prefix. Panduan OpenAI mengesyorkan definisi dikekalkan stabil dan penggunaan dihadkan dengan tool_choice atau tetapan allowed-tools.
  5. Meringkaskan sejarah di tempatnya. Menulis semula giliran lama menjadi ringkasan menetapkan semula segala-galanya selepas system prompt. Ringkaskan jarang-jarang dan dalam langkah besar.
  6. Pengambilan sebelum arahan. Petikan RAG yang diletakkan antara system prompt dan tools berbeza setiap pertanyaan dan merosakkan lapisan tools juga.

Bagaimanakah membina permintaan mesra cache dalam kod?

Jadikan setiap lapisan fungsi bagi input yang stabil sahaja, dan siri secara deterministik:

import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

SYSTEM = open("prompts/system.md").read()  # versioned file, no templating

def stable_tools(registry: dict) -> list:
    # Sort by name, sort keys inside each schema.
    return [json.loads(json.dumps(registry[name], sort_keys=True)) for name in sorted(registry)]

def docs_block(paths: list[str]) -> str:
    parts = [f"=== {p} ===\n{open(p).read()}" for p in sorted(paths)]
    return "\n\n".join(parts)

def build_messages(history: list, user_text: str, now_iso: str, doc_paths: list[str]):
    return (
        [{"role": "system", "content": SYSTEM},
         {"role": "user", "content": docs_block(doc_paths)}]
        + history                                   # append-only
        + [{"role": "user", "content": f"(now: {now_iso})\n{user_text}"}]
    )

resp = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=build_messages(history, question, now_iso, files),
    tools=stable_tools(TOOLS),
)
history += [{"role": "user", "content": question}, resp.choices[0].message.model_dump(exclude_none=True)]

Dua butiran. Masa semasa diletakkan dalam mesej terakhir, bukan dalam system prompt. Dan sejarah menyimpan mesej pembantu tepat seperti yang dipulangkan, supaya panggilan seterusnya menghantar semula byte yang sama.

Bagaimanakah membuktikan prefix di-cache?

Jalankan ujian dua panggilan dalam CI atau buku nota:

  1. Bina permintaan dengan system prompt, tools dan dokumen sebenar anda.
  2. Hantarnya. Catat usage.prompt_tokens.
  3. Ubah hanya mesej pengguna terakhir dan hantar sekali lagi.
  4. Baca usage.prompt_tokens_details.cached_tokens pada panggilan kedua. Ia patut meliputi hampir keseluruhan prefix yang dikongsi.
  5. Jika ia sifar atau kecil, bandingkan badan permintaan yang disiri byte demi byte. Perbezaan pertama ialah perosak cache anda.

Cache bersifat usaha terbaik pada kebanyakan penyedia, dan dokumentasi DeepSeek menyatakannya secara langsung, jadi satu miss bukan bukti pepijat. Miss yang konsisten ialah bukti. Jejaki nisbah token cache kepada token prompt setiap permintaan dalam log penggunaan anda, dan gunakan kalkulator prompt caching untuk melihat berapa banyak yang dijimatkan oleh kadar hit yang lebih tinggi.

Bagaimanakah ini berubah untuk ejen dan konteks panjang?

Ejen paling banyak mendapat manfaat kerana ia menghantar semula prefix besar yang sama berpuluh-puluh kali setiap tugasan. Dua tabiat penting:

  • Satu perbualan setiap tugasan. Memulakan perbualan baharu untuk setiap sub-langkah membuang prefix.
  • Baca fail sekali, berhampiran bahagian atas. Jika ejen membaca semula fail, tambah salinan baharu dan bukannya menggantikan yang lama, melainkan fail itu berubah.

Dengan tetingkap konteks 1M token, lapisan 3 boleh memuatkan keseluruhan repositori. Itu mampu dibayar pada kunci setiap token hanya apabila ia di-cache, sebab itulah urutan lapisan menjadi lebih penting apabila prompt membesar. Prefix yang di-cache juga cenderung mengurangkan masa ke token pertama; lihat TTFT vs daya pemprosesan.

Di manakah BroadNet Inference sesuai

Di BroadNet Inference, blok usage melaporkan prompt_tokens_details.cached_tokens apabila model melaporkannya, dan input cache pada DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B dibilkan pada kadar lebih rendah yang disenaraikan di halaman harga. BroadNet tidak menawarkan titik putus cache yang eksplisit atau parameter kunci cache dalam dokumentasinya, jadi susun atur di atas ialah keseluruhan tekniknya. Pada pelan tanpa had, cache tidak mengubah bil, kerana sesi tiada meter token, tetapi struktur yang sama masih membantu kependaman.

Soalan lazim

Mengapakah kadar cache hit prompt saya rendah?

Sesuatu berhampiran permulaan prompt berubah pada setiap panggilan. Punca biasa ialah cap masa atau ID permintaan dalam system prompt, tools yang disiri dalam urutan berbeza, dokumen yang diambil diletakkan sebelum arahan, atau sejarah yang diringkaskan dan ditulis semula.

Patutkah soalan pengguna diletakkan sebelum atau selepas dokumen panjang?

Selepas. Letakkan dokumen dahulu dan soalan terakhir. Dokumen itu kemudian membentuk prefix yang boleh digunakan semula, dan banyak model juga menjawab lebih baik apabila soalan datang selepas bahan.

Adakah definisi tool merosakkan prompt caching?

Hanya jika ia berubah. Tools ialah sebahagian daripada prefix, jadi kekalkan set yang sama dalam urutan yang sama dengan JSON yang sama. Untuk mengehadkan tools bagi satu panggilan, gunakan tool_choice dan bukannya menyunting senarai.

Adakah urutan contoh few-shot penting untuk cache?

Ya. Contoh yang dikocok menghasilkan prefix berbeza setiap kali. Tetapkan urutannya, atau letakkan contoh yang berubah setiap permintaan selepas bahagian yang stabil.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity