---
title: "Struktur prompt untuk cache: reka bentuk prefix stabil"
description: "Cara menyusun prompt LLM supaya prefix yang di-cache kekal sama: system prompt, skema tool, dokumen, sejarah tambah-sahaja, serta ujian yang membuktikannya."
url: https://broadrouter.com/ms/blog/prompt-structure-for-caching/
lang: ms
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/blog/prompt-structure-for-caching/) (dikemas kini 2026-11-16).

# Cara menyusun prompt supaya prefix di-cache

Oleh pasukan BroadNet Inference · 4 minit bacaan · Diterbitkan 2026-11-14 · Dikemas kini 2026-11-16

Susun setiap permintaan daripada yang paling stabil kepada yang paling kurang stabil: system prompt, definisi tool, dokumen rujukan, sejarah perbualan, kemudian mesej baharu. Jadikan setiap lapisan sama byte demi byte antara panggilan: tiada cap masa atau ID di bahagian atas, tools disusun, JSON disiri secara deterministik, dan sejarah hanya ditambah. Kemudian ukur cached\_tokens untuk mengesahkan prefix benar-benar digunakan semula.

## Perkara utama

-   Cache memadankan prefix yang tepat. Satu byte yang berubah membatalkan semua selepasnya, jadi urutan lapisan lebih penting daripada saiznya.
-   Empat lapisan, yang paling stabil dahulu: system prompt, tools, dokumen, sejarah. Giliran pengguna baharu diletakkan terakhir.
-   Siri tools dan dokumen JSON dengan kunci yang disusun dan pemisah tetap; urutan kamus ialah perosak cache yang senyap.
-   Hadkan tools bagi setiap panggilan dengan tool\_choice dan bukannya membuang definisi tool.
-   Ujinya: hantar prefix yang sama dua kali dan pastikan prompt\_tokens\_details.cached\_tokens meningkat pada panggilan kedua.

**Dalam halaman ini**

1.  Mengapakah urutan prompt menentukan kadar cache hit?
2.  Apakah urutan lapisan yang betul?
3.  Apakah yang merosakkan prefix tanpa anda sedari?
4.  Bagaimanakah membina permintaan mesra cache dalam kod?
5.  Bagaimanakah membuktikan prefix di-cache?
6.  Bagaimanakah ini berubah untuk ejen dan konteks panjang?
7.  Di manakah BroadNet Inference sesuai

[Token input cache](https://broadrouter.com/ms/glossary/cached-input-tokens/) murah, dan di BroadNet Inference, DeepSeek V4.1 Flash mengebilnya pada $0.0055 bagi setiap 1M dan bukannya $0.175. [Penerangan token cache](https://broadrouter.com/ms/blog/cached-input-tokens-explained/) merangkumi harga dan cara membaca medan usage. Artikel ini tentang kerja reka bentuk: cara menyusun prompt supaya cache benar-benar kena, dan cara membuktikannya.

## Mengapakah urutan prompt menentukan kadar cache hit?

Setiap penyedia utama membuat cache mengikut **prefix**. Panduan OpenAI menyatakan penggunaan semula memerlukan keseluruhan prefix yang dirender sepadan. Dokumentasi DeepSeek menerangkan peraturan yang sama: permintaan hanya kena jika ia sepadan sepenuhnya dengan prefix yang disimpan, dan permintaan yang menyimpang di pertengahan tidak kena. Anthropic membina cachenya dalam urutan tools, system, messages.

Di sebalik tabir, pelayan menggunakan semula [KV cache](https://broadrouter.com/ms/glossary/kv-cache/) yang dibinanya untuk prefix itu. Jadi cache ialah garis lurus dari token pertama. Byte pertama yang berbeza daripada panggilan terakhir menamatkan bahagian yang boleh digunakan semula. Satu baris cap masa di bahagian atas prompt 50,000 token menyebabkan anda membayar kesemua 50,000 token pada harga penuh.

## Apakah urutan lapisan yang betul?

| Lapisan | Berubah | Contoh | Peraturan |
| --- | --- | --- | --- |
| 1\. System prompt | Setiap deploy | Peranan, peraturan, format output | Tiada tarikh, ID, nama pengguna |
| 2\. Definisi tool | Setiap deploy | Skema fungsi | Disusun, JSON deterministik |
| 3\. Bahan rujukan | Setiap sesi atau tugasan | Fail repo, kontrak, dokumentasi produk | Urutan tetap, label stabil |
| 4\. Sejarah perbualan | Setiap giliran, tambah sahaja | Giliran pengguna dan pembantu terdahulu | Jangan sunting; tambah sahaja |
| 5\. Mesej baharu | Setiap panggilan | Soalan, ditambah masa semasa jika perlu | Data yang berubah-ubah diletakkan di sini |

Lapisan 5 ialah tempat untuk apa-apa yang berubah-ubah: tarikh semasa, lokal pengguna, ID permintaan, petikan yang diambil yang berbeza setiap soalan.

## Apakah yang merosakkan prefix tanpa anda sedari?

1.  **Urutan kamus.** Rangka kerja sering membina tatasusunan `tools` daripada dict atau registri. Jika pemalam dimuatkan dalam urutan berbeza, byte berubah.
2.  **Format JSON.** `json.dumps(x)` dan `json.dumps(x, indent=2)` ialah prefix yang berbeza. Begitu juga dua penyiri dengan urutan kunci yang berbeza.
3.  **Ruang kosong templat.** Ruang di hujung, atau `\r\n` daripada satu laluan kod dan `\n` daripada laluan lain.
4.  **Senarai tool dinamik.** Membuang tools yang tidak boleh digunakan oleh pengguna mengubah prefix. Panduan OpenAI mengesyorkan definisi dikekalkan stabil dan penggunaan dihadkan dengan `tool_choice` atau tetapan allowed-tools.
5.  **Meringkaskan sejarah di tempatnya.** Menulis semula giliran lama menjadi ringkasan menetapkan semula segala-galanya selepas system prompt. Ringkaskan jarang-jarang dan dalam langkah besar.
6.  **Pengambilan sebelum arahan.** Petikan RAG yang diletakkan antara system prompt dan tools berbeza setiap pertanyaan dan merosakkan lapisan tools juga.

## Bagaimanakah membina permintaan mesra cache dalam kod?

Jadikan setiap lapisan fungsi bagi input yang stabil sahaja, dan siri secara deterministik:

```python
import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

SYSTEM = open("prompts/system.md").read()  # versioned file, no templating

def stable_tools(registry: dict) -> list:
    # Sort by name, sort keys inside each schema.
    return [json.loads(json.dumps(registry[name], sort_keys=True)) for name in sorted(registry)]

def docs_block(paths: list[str]) -> str:
    parts = [f"=== {p} ===\n{open(p).read()}" for p in sorted(paths)]
    return "\n\n".join(parts)

def build_messages(history: list, user_text: str, now_iso: str, doc_paths: list[str]):
    return (
        [{"role": "system", "content": SYSTEM},
         {"role": "user", "content": docs_block(doc_paths)}]
        + history                                   # append-only
        + [{"role": "user", "content": f"(now: {now_iso})\n{user_text}"}]
    )

resp = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=build_messages(history, question, now_iso, files),
    tools=stable_tools(TOOLS),
)
history += [{"role": "user", "content": question}, resp.choices[0].message.model_dump(exclude_none=True)]
```

Dua butiran. Masa semasa diletakkan dalam mesej terakhir, bukan dalam system prompt. Dan sejarah menyimpan mesej pembantu tepat seperti yang dipulangkan, supaya panggilan seterusnya menghantar semula byte yang sama.

## Bagaimanakah membuktikan prefix di-cache?

Jalankan ujian dua panggilan dalam CI atau buku nota:

1.  Bina permintaan dengan system prompt, tools dan dokumen sebenar anda.
2.  Hantarnya. Catat `usage.prompt_tokens`.
3.  Ubah hanya mesej pengguna terakhir dan hantar sekali lagi.
4.  Baca `usage.prompt_tokens_details.cached_tokens` pada panggilan kedua. Ia patut meliputi hampir keseluruhan prefix yang dikongsi.
5.  Jika ia sifar atau kecil, bandingkan badan permintaan yang disiri byte demi byte. Perbezaan pertama ialah perosak cache anda.

Cache bersifat usaha terbaik pada kebanyakan penyedia, dan dokumentasi DeepSeek menyatakannya secara langsung, jadi satu miss bukan bukti pepijat. Miss yang konsisten ialah bukti. Jejaki nisbah token cache kepada token prompt setiap permintaan dalam [log penggunaan](https://broadrouter.com/ms/blog/llm-api-usage-logging/) anda, dan gunakan [kalkulator prompt caching](https://broadrouter.com/tools/prompt-caching-calculator/) untuk melihat berapa banyak yang dijimatkan oleh kadar hit yang lebih tinggi.

## Bagaimanakah ini berubah untuk ejen dan konteks panjang?

Ejen paling banyak mendapat manfaat kerana ia menghantar semula prefix besar yang sama berpuluh-puluh kali setiap tugasan. Dua tabiat penting:

-   **Satu perbualan setiap tugasan.** Memulakan perbualan baharu untuk setiap sub-langkah membuang prefix.
-   **Baca fail sekali, berhampiran bahagian atas.** Jika ejen membaca semula fail, tambah salinan baharu dan bukannya menggantikan yang lama, melainkan fail itu berubah.

Dengan [tetingkap konteks 1M token](https://broadrouter.com/ms/blog/million-token-context-window-guide/), lapisan 3 boleh memuatkan keseluruhan repositori. Itu mampu dibayar pada kunci setiap token hanya apabila ia di-cache, sebab itulah urutan lapisan menjadi lebih penting apabila prompt membesar. Prefix yang di-cache juga cenderung mengurangkan masa ke token pertama; lihat [TTFT vs daya pemprosesan](https://broadrouter.com/ms/blog/llm-latency-ttft-throughput/).

## Di manakah BroadNet Inference sesuai

Di BroadNet Inference, blok usage melaporkan `prompt_tokens_details.cached_tokens` apabila model melaporkannya, dan input cache pada [DeepSeek V4.1 Flash](https://broadrouter.com/ms/models/deepseek-v4.1-flash/), [GLM 5.3](https://broadrouter.com/ms/models/glm-5.3/) dan [Qwen3.8 27B](https://broadrouter.com/ms/models/qwen3.8-27b/) dibilkan pada kadar lebih rendah yang disenaraikan di [halaman harga](https://broadrouter.com/ms/pricing/). BroadNet tidak menawarkan titik putus cache yang eksplisit atau parameter kunci cache dalam dokumentasinya, jadi susun atur di atas ialah keseluruhan tekniknya. Pada pelan tanpa had, cache tidak mengubah bil, kerana sesi tiada meter token, tetapi struktur yang sama masih membantu kependaman.

Alat percuma untuk topik ini (Bahasa Inggeris)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Alatan percuma (Bahasa Inggeris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Token](https://broadrouter.com/ms/glossary/token/)

Token ialah unit teks yang dibaca dan ditulis oleh model bahasa: satu perkataan, sebahagian perkataan, tanda baca atau jujukan bait yang dihasilkan oleh tokenizer model itu. API LLM mengira, mengehadkan dan biasanya mengebil penggunaan dalam token.

[Prompt sistem (system prompt)](https://broadrouter.com/ms/glossary/system-prompt/)

Prompt sistem ialah teks arahan yang dihantar oleh aplikasi kepada model bahasa sebelum perbualan, biasanya sebagai mesej dengan peranan system atau developer. Ia menetapkan peranan, peraturan, nada dan format output model, dan model sepatutnya mengutamakannya berbanding mesej pengguna yang bercanggah.

[Token input cache (cached input tokens)](https://broadrouter.com/ms/glossary/cached-input-tokens/)

Token input cache ialah token prompt yang baru sahaja diproses oleh penyedia LLM dan boleh diguna semula daripada cache tanpa dikira semula, biasanya awalan yang berulang seperti prompt sistem atau dokumen. Penyedia mengebilnya pada kadar lebih rendah daripada token input baharu.

[Tool calling (panggilan alatan)](https://broadrouter.com/ms/glossary/tool-calling/)

Tool calling, juga dipanggil function calling, ialah ciri API LLM di mana model memulangkan permintaan berstruktur untuk menjalankan fungsi yang ditakrifkan oleh pembangun, bersama argumen JSON. Aplikasi menjalankan fungsi itu dan menghantar hasilnya kembali; model sendiri tidak pernah menjalankan kod.

[Tetingkap konteks (context window)](https://broadrouter.com/ms/glossary/context-window/)

Tetingkap konteks ialah bilangan maksimum token yang boleh dikendalikan oleh model bahasa dalam satu permintaan. Ia meliputi prompt, sejarah perbualan, definisi alatan, imej dan output yang dijana, termasuk token penaakulan. Apa-apa yang tidak muat mesti dipotong, diringkaskan atau dipecahkan kepada beberapa permintaan.

[Token input dan output (input and output tokens)](https://broadrouter.com/ms/glossary/input-and-output-tokens/)

Token input ialah token yang dibaca oleh model bahasa dalam satu permintaan, termasuk prompt sistem, sejarah perbualan, definisi alatan dan imej. Token output ialah token yang dijananya sebagai balasan, termasuk sebarang penaakulan. API LLM biasanya meletakkan harga berasingan, dan output biasanya lebih mahal.

[Baris Arab (tashkeel, Arabic diacritics)](https://broadrouter.com/ms/glossary/arabic-diacritics/)

Baris Arab, atau tashkeel, ialah tanda kecil yang ditulis di atas atau di bawah huruf untuk menunjukkan vokal pendek, konsonan berganda dan ketiadaan vokal. Ia pilihan: kebanyakan teks Arab, termasuk berita, meninggalkannya, jadi pembaca dan perisian meneka vokal daripada konteks.

[Daya pemprosesan (throughput)](https://broadrouter.com/ms/glossary/throughput/)

Daya pemprosesan (throughput), dalam penyajian LLM, ialah jumlah kerja yang disiapkan sistem bagi setiap unit masa merentas semua permintaan serentak, biasanya diukur sebagai token output sesaat atau permintaan sesaat. Ia berbeza daripada kelajuan setiap strim, iaitu sepantas mana satu permintaan menerima tokennya.

## Soalan lazim

### Mengapakah kadar cache hit prompt saya rendah?

Sesuatu berhampiran permulaan prompt berubah pada setiap panggilan. Punca biasa ialah cap masa atau ID permintaan dalam system prompt, tools yang disiri dalam urutan berbeza, dokumen yang diambil diletakkan sebelum arahan, atau sejarah yang diringkaskan dan ditulis semula.

### Patutkah soalan pengguna diletakkan sebelum atau selepas dokumen panjang?

Selepas. Letakkan dokumen dahulu dan soalan terakhir. Dokumen itu kemudian membentuk prefix yang boleh digunakan semula, dan banyak model juga menjawab lebih baik apabila soalan datang selepas bahan.

### Adakah definisi tool merosakkan prompt caching?

Hanya jika ia berubah. Tools ialah sebahagian daripada prefix, jadi kekalkan set yang sama dalam urutan yang sama dengan JSON yang sama. Untuk mengehadkan tools bagi satu panggilan, gunakan tool\_choice dan bukannya menyunting senarai.

### Adakah urutan contoh few-shot penting untuk cache?

Ya. Contoh yang dikocok menghasilkan prefix berbeza setiap kali. Tetapkan urutannya, atau letakkan contoh yang berubah setiap permintaan selepas bahagian yang stabil.

## Teruskan membaca

-   [Token input cache: cara mengurangkan bil API LLM](https://broadrouter.com/ms/blog/cached-input-tokens-explained/)
-   [Bila tetingkap konteks 1M token berbaloi (dan bila tidak)](https://broadrouter.com/ms/blog/million-token-context-window-guide/)
-   [API LLM kadar tetap vs bayar setiap token: kiraan pulang modal](https://broadrouter.com/ms/blog/flat-rate-vs-pay-per-token-llm-api/)
-   [Perkakasan GPU dan pendekatan penyajian BroadNet, menurut BroadNet](https://broadrouter.com/ms/blog/broadnet-gpu-fleet-and-serving/)
-   [Cache respons API LLM untuk jimat kos: cache padanan tepat Python](https://broadrouter.com/ms/blog/cache-llm-responses-cut-cost/)
-   [Panduan: Strim chat completions dan kendalikan sambungan yang terputus](https://broadrouter.com/ms/guides/streaming-chat-completions/)
-   [Panduan: Cara guna OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/ms/guides/openai-python-sdk/)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-prompt-structure-for-caching&utm_content=page-cta) ·

**Sumber**

-   [Rujukan API BroadNet Inference, token cache dalam usage (disemak 2026-11-16) (Bahasa Inggeris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-prompt-structure-for-caching&utm_content=sources)
-   [Panduan prompt caching OpenAI, padanan prefix dan nasihat penyusunan (disemak 2026-11-14)](https://developers.openai.com/api/docs/guides/prompt-caching)
-   [Dokumentasi prompt caching Anthropic, urutan cache tools, kemudian system, kemudian messages (disemak 2026-11-16)](https://platform.claude.com/docs/en/build-with-claude/prompt-caching)
-   [Dokumentasi API DeepSeek, context caching (disemak 2026-11-14)](https://api-docs.deepseek.com/guides/kv_cache)
