---
title: "Struktur prompt untuk caching: desain prefiks yang stabil"
description: "Cara menyusun prompt LLM agar prefiks yang di-cache tetap identik: system prompt, skema tool, dokumen, riwayat yang hanya ditambah, plus tes untuk membuktikannya."
url: https://broadrouter.com/id/blog/prompt-structure-for-caching/
lang: id
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/blog/prompt-structure-for-caching/) (diperbarui 2026-11-16).

# Cara menyusun prompt agar prefiksnya ter-cache

Oleh tim BroadNet Inference · 4 menit baca · Dipublikasikan 2026-11-14 · Diperbarui 2026-11-16

Urutkan setiap permintaan dari yang paling stabil ke yang paling berubah: system prompt, definisi tool, dokumen referensi, riwayat percakapan, lalu pesan baru. Buat setiap lapisan identik byte demi byte antarpanggilan: tanpa timestamp atau ID di bagian atas, tool diurutkan, JSON diserialisasi secara deterministik, dan riwayat hanya ditambah di akhir. Lalu ukur cached\_tokens untuk memastikan prefiksnya benar-benar dipakai ulang.

## Poin penting

-   Cache mencocokkan prefiks yang persis sama. Satu byte yang berubah membatalkan semua yang ada setelahnya, jadi urutan lapisan lebih penting daripada ukurannya.
-   Empat lapisan, yang paling stabil lebih dulu: system prompt, tool, dokumen, riwayat. Giliran pengguna yang baru diletakkan paling akhir.
-   Serialisasi tool dan dokumen JSON dengan key yang diurutkan dan separator yang tetap; urutan dictionary adalah perusak cache yang diam-diam.
-   Batasi tool per panggilan dengan tool\_choice, alih-alih menghapus definisi tool.
-   Uji: kirim prefiks yang sama dua kali dan pastikan prompt\_tokens\_details.cached\_tokens naik di panggilan kedua.

**Di halaman ini**

1.  Kenapa urutan prompt menentukan cache hit rate?
2.  Seperti apa urutan lapisan yang benar?
3.  Apa yang merusak prefiks tanpa Anda sadari?
4.  Bagaimana membangun permintaan yang ramah cache di kode?
5.  Bagaimana membuktikan prefiksnya ter-cache?
6.  Apa bedanya untuk agen dan konteks panjang?
7.  Posisi BroadNet Inference

[Token input cache](https://broadrouter.com/id/glossary/cached-input-tokens/) itu murah, dan di BroadNet Inference DeepSeek V4.1 Flash menagihnya $0.0055 per 1 juta, bukan $0.175. [Penjelasan token cache](https://broadrouter.com/id/blog/cached-input-tokens-explained/) membahas harganya dan cara membaca field usage. Artikel ini membahas pekerjaan desainnya: bagaimana menyusun prompt agar cache benar-benar kena (hit), dan bagaimana membuktikannya.

## Kenapa urutan prompt menentukan cache hit rate?

Semua penyedia besar melakukan cache berdasarkan **prefiks**. Panduan OpenAI menyebut pemakaian ulang mensyaratkan seluruh prefiks yang dirender cocok. Dokumentasi DeepSeek menjelaskan aturan yang sama: permintaan hanya kena cache jika sepenuhnya cocok dengan prefiks yang tersimpan, dan permintaan yang menyimpang di tengah jalan tidak kena. Anthropic menyusun cache-nya dengan urutan tools, system, messages.

Di balik layar, server memakai ulang [KV cache](https://broadrouter.com/id/glossary/kv-cache/) yang sudah dibangunnya untuk prefiks itu. Jadi cache adalah garis lurus dari token pertama. Byte pertama yang berbeda dari panggilan terakhir mengakhiri bagian yang bisa dipakai ulang. Satu baris timestamp di bagian atas prompt 50.000 token membuat Anda membayar seluruh 50.000 token itu dengan harga penuh.

## Seperti apa urutan lapisan yang benar?

| Lapisan | Berubah | Contoh | Aturan |
| --- | --- | --- | --- |
| 1\. System prompt | Per deploy | Peran, aturan, format output | Tanpa tanggal, ID, nama pengguna |
| 2\. Definisi tool | Per deploy | Skema fungsi | Diurutkan, JSON deterministik |
| 3\. Materi referensi | Per sesi atau tugas | File repo, kontrak, dokumen produk | Urutan tetap, label stabil |
| 4\. Riwayat percakapan | Per giliran, hanya ditambah | Giliran pengguna dan asisten sebelumnya | Jangan pernah diedit; hanya ditambah |
| 5\. Pesan baru | Setiap panggilan | Pertanyaan, plus waktu saat ini jika perlu | Data yang berubah-ubah ditaruh di sini |

Lapisan 5 adalah tempat untuk apa pun yang berubah-ubah: tanggal saat ini, locale pengguna, ID permintaan, potongan hasil retrieval yang berbeda per pertanyaan.

## Apa yang merusak prefiks tanpa Anda sadari?

1.  **Urutan dictionary.** Framework sering membangun array `tools` dari dict atau registry. Jika plugin dimuat dengan urutan berbeda, byte-nya berubah.
2.  **Format JSON.** `json.dumps(x)` dan `json.dumps(x, indent=2)` adalah prefiks yang berbeda. Begitu juga dua serializer dengan urutan key yang berbeda.
3.  **Spasi di template.** Spasi di akhir baris, atau `\r\n` dari satu jalur kode dan `\n` dari jalur lain.
4.  **Daftar tool dinamis.** Menghapus tool yang tidak bisa dipakai pengguna mengubah prefiks. Panduan OpenAI menyarankan definisinya tetap stabil dan pemakaiannya dibatasi dengan `tool_choice` atau pengaturan allowed tools.
5.  **Meringkas riwayat di tempat.** Menulis ulang giliran lama menjadi ringkasan mereset semua yang ada setelah system prompt. Ringkas sesekali saja, dalam langkah besar.
6.  **Retrieval sebelum instruksi.** Potongan RAG yang ditaruh di antara system prompt dan tool berbeda per kueri dan ikut merusak lapisan tool.

## Bagaimana membangun permintaan yang ramah cache di kode?

Jadikan setiap lapisan sebagai fungsi dari input yang stabil saja, dan serialisasi secara deterministik:

```python
import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

SYSTEM = open("prompts/system.md").read()  # versioned file, no templating

def stable_tools(registry: dict) -> list:
    # Sort by name, sort keys inside each schema.
    return [json.loads(json.dumps(registry[name], sort_keys=True)) for name in sorted(registry)]

def docs_block(paths: list[str]) -> str:
    parts = [f"=== {p} ===\n{open(p).read()}" for p in sorted(paths)]
    return "\n\n".join(parts)

def build_messages(history: list, user_text: str, now_iso: str, doc_paths: list[str]):
    return (
        [{"role": "system", "content": SYSTEM},
         {"role": "user", "content": docs_block(doc_paths)}]
        + history                                   # append-only
        + [{"role": "user", "content": f"(now: {now_iso})\n{user_text}"}]
    )

resp = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=build_messages(history, question, now_iso, files),
    tools=stable_tools(TOOLS),
)
history += [{"role": "user", "content": question}, resp.choices[0].message.model_dump(exclude_none=True)]
```

Dua detail. Waktu saat ini masuk ke pesan terakhir, bukan system prompt. Dan riwayat menyimpan pesan asisten persis seperti yang dikembalikan, sehingga panggilan berikutnya mengirim ulang byte yang identik.

## Bagaimana membuktikan prefiksnya ter-cache?

Jalankan tes dua panggilan di CI atau notebook:

1.  Buat permintaan dengan system prompt, tool, dan dokumen Anda yang sebenarnya.
2.  Kirim. Catat `usage.prompt_tokens`.
3.  Ubah hanya pesan pengguna terakhir dan kirim lagi.
4.  Baca `usage.prompt_tokens_details.cached_tokens` di panggilan kedua. Nilainya seharusnya mencakup hampir seluruh prefiks bersama.
5.  Jika nol atau kecil, bandingkan body permintaan yang sudah diserialisasi byte demi byte. Perbedaan pertama itulah perusak cache Anda.

Caching di kebanyakan penyedia bersifat best-effort, dan dokumentasi DeepSeek menyatakannya langsung, jadi satu kali miss bukan bukti adanya bug. Miss yang konsisten, itu baru bukti. Pantau rasio token cache terhadap token prompt per permintaan di [log pemakaian](https://broadrouter.com/id/blog/llm-api-usage-logging/) Anda, dan pakai [kalkulator prompt caching](https://broadrouter.com/tools/prompt-caching-calculator/) untuk melihat berapa yang dihemat jika hit rate lebih tinggi.

## Apa bedanya untuk agen dan konteks panjang?

Agen paling diuntungkan karena mengirim ulang prefiks besar yang sama puluhan kali per tugas. Dua kebiasaan yang penting:

-   **Satu percakapan per tugas.** Memulai percakapan baru untuk setiap sublangkah membuang prefiksnya.
-   **Baca file sekali, di dekat bagian atas.** Jika agen membaca ulang sebuah file, tambahkan salinan baru di akhir alih-alih mengganti yang lama, kecuali file-nya memang berubah.

Dengan [context window 1 juta token](https://broadrouter.com/id/blog/million-token-context-window-guide/), lapisan 3 bisa memuat seluruh repositori. Itu baru terjangkau dengan kunci per token jika ter-cache, itulah sebabnya urutan lapisan makin penting seiring prompt membesar. Prefiks yang ter-cache juga cenderung mempercepat waktu ke token pertama; lihat [TTFT vs throughput](https://broadrouter.com/id/blog/llm-latency-ttft-throughput/).

## Posisi BroadNet Inference

Di BroadNet Inference, blok usage melaporkan `prompt_tokens_details.cached_tokens` saat model melaporkannya, dan input cache di [DeepSeek V4.1 Flash](https://broadrouter.com/id/models/deepseek-v4.1-flash/), [GLM 5.3](https://broadrouter.com/id/models/glm-5.3/), dan [Qwen3.8 27B](https://broadrouter.com/id/models/qwen3.8-27b/) ditagih dengan tarif lebih rendah yang tercantum di [halaman harga](https://broadrouter.com/id/pricing/). Dokumentasi BroadNet tidak menawarkan cache breakpoint eksplisit atau parameter cache key, jadi tata letak di atas adalah seluruh tekniknya. Di paket unlimited, cache tidak mengubah tagihan karena sesi tidak punya meteran token, tetapi struktur yang sama tetap membantu latensi.

Alat gratis untuk topik ini (bahasa Inggris)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Alat gratis (bahasa Inggris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Token](https://broadrouter.com/id/glossary/token/)

Token adalah satuan teks yang dibaca dan ditulis model bahasa: sebuah kata, bagian kata, tanda baca, atau urutan byte yang dihasilkan tokenizer model. API LLM menghitung, membatasi, dan biasanya menagih pemakaian dalam token.

[System prompt (prompt sistem)](https://broadrouter.com/id/glossary/system-prompt/)

System prompt adalah teks instruksi yang dikirim aplikasi ke model bahasa sebelum percakapan, biasanya sebagai pesan dengan peran system atau developer. System prompt menetapkan peran, aturan, gaya bahasa, dan format output model, dan model dirancang untuk mengikutinya di atas pesan pengguna yang bertentangan.

[Token input cache (cached input tokens)](https://broadrouter.com/id/glossary/cached-input-tokens/)

Token input cache adalah token prompt yang baru saja diproses penyedia LLM dan bisa dipakai ulang dari cache alih-alih dihitung lagi, biasanya prefiks berulang seperti system prompt atau dokumen. Penyedia menagihnya dengan tarif lebih rendah daripada token input baru.

[Tool calling (function calling)](https://broadrouter.com/id/glossary/tool-calling/)

Tool calling, disebut juga function calling, adalah fitur API LLM di mana model mengembalikan permintaan terstruktur untuk menjalankan fungsi yang didefinisikan developer, lengkap dengan argumen JSON. Aplikasi yang menjalankan fungsi itu dan mengirim hasilnya kembali; model tidak pernah menjalankan kode sendiri.

[Context window (jendela konteks)](https://broadrouter.com/id/glossary/context-window/)

Context window adalah jumlah token maksimum yang bisa diolah model bahasa dalam satu permintaan. Cakupannya meliputi prompt, riwayat percakapan, definisi tool, gambar, dan output yang dihasilkan, termasuk token penalaran. Apa pun yang tidak muat harus dipotong, diringkas, atau dibagi ke beberapa permintaan.

[Token input dan output](https://broadrouter.com/id/glossary/input-and-output-tokens/)

Token input adalah token yang dibaca model bahasa dalam sebuah permintaan, termasuk system prompt, riwayat percakapan, definisi tool, dan gambar. Token output adalah token yang dihasilkannya sebagai balasan, termasuk penalaran. API LLM biasanya menghargainya secara terpisah, dan output biasanya lebih mahal.

[KV cache](https://broadrouter.com/id/glossary/kv-cache/)

KV cache adalah memori tempat model bahasa transformer menyimpan key dan value attention yang dihitung untuk setiap token yang sudah diproses, sehingga setiap token baru memakainya ulang alih-alih menghitung ulang seluruh urutan. Ukurannya bertambah seiring panjang konteks dan sering membatasi berapa banyak request yang bisa dilayani satu GPU.

[Latensi (latency)](https://broadrouter.com/id/glossary/latency/)

Latensi, untuk API model bahasa, adalah waktu yang dibutuhkan sebuah permintaan sejak dikirim sampai token output terakhir diterima. Latensi adalah jumlah dari time to first token dan waktu generasi, dan biasanya dilaporkan sebagai persentil seperti p50 dan p95, bukan rata-rata.

## Pertanyaan umum

### Kenapa cache hit rate prompt saya rendah?

Ada sesuatu di dekat awal prompt yang berubah di setiap panggilan. Penyebab umumnya adalah timestamp atau ID permintaan di system prompt, tool yang diserialisasi dengan urutan berbeda, dokumen hasil retrieval yang ditaruh sebelum instruksi, atau riwayat yang diringkas dan ditulis ulang.

### Pertanyaan pengguna ditaruh sebelum atau sesudah dokumen panjang?

Sesudah. Taruh dokumen di awal dan pertanyaan di akhir. Dengan begitu dokumen membentuk prefiks yang bisa dipakai ulang, dan banyak model juga menjawab lebih baik jika pertanyaan datang setelah materinya.

### Apakah definisi tool merusak prompt caching?

Hanya jika berubah. Tool adalah bagian dari prefiks, jadi pertahankan set yang sama dengan urutan dan JSON yang sama. Untuk membatasi tool di satu panggilan, pakai tool\_choice alih-alih mengedit daftarnya.

### Apakah urutan contoh few-shot berpengaruh pada caching?

Ya. Contoh yang diacak menghasilkan prefiks berbeda setiap kali. Tetapkan urutannya, atau taruh contoh yang berubah per permintaan setelah bagian yang stabil.

## Baca juga

-   [Token input cache: cara memangkas tagihan API LLM](https://broadrouter.com/id/blog/cached-input-tokens-explained/)
-   [Kapan context window 1M token sepadan (dan kapan tidak)](https://broadrouter.com/id/blog/million-token-context-window-guide/)
-   [API LLM harga tetap vs bayar per token: hitungan titik impas](https://broadrouter.com/id/blog/flat-rate-vs-pay-per-token-llm-api/)
-   [Hardware GPU dan pendekatan serving BroadNet, menurut BroadNet](https://broadrouter.com/id/blog/broadnet-gpu-fleet-and-serving/)
-   [Cache respons API LLM untuk memangkas biaya: exact cache di Python](https://broadrouter.com/id/blog/cache-llm-responses-cut-cost/)
-   [Panduan: Streaming chat completions dan menangani koneksi terputus](https://broadrouter.com/id/guides/streaming-chat-completions/)
-   [Panduan: Memakai OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/id/guides/openai-python-sdk/)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-prompt-structure-for-caching&utm_content=page-cta) ·

**Sumber**

-   [Referensi API BroadNet Inference, token cache di usage (dicek 2026-11-16) (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-prompt-structure-for-caching&utm_content=sources)
-   [Panduan prompt caching OpenAI, pencocokan prefiks dan saran penyusunan (diakses 2026-11-14)](https://developers.openai.com/api/docs/guides/prompt-caching)
-   [Dokumentasi prompt caching Anthropic, urutan cache tool lalu system lalu messages (dicek 2026-11-16)](https://platform.claude.com/docs/en/build-with-claude/prompt-caching)
-   [Dokumentasi API DeepSeek, context caching (diakses 2026-11-14)](https://api-docs.deepseek.com/guides/kv_cache)
