Token input cache itu murah, dan di BroadNet Inference DeepSeek V4.1 Flash menagihnya $0.0055 per 1 juta, bukan $0.175. Penjelasan token cache membahas harganya dan cara membaca field usage. Artikel ini membahas pekerjaan desainnya: bagaimana menyusun prompt agar cache benar-benar kena (hit), dan bagaimana membuktikannya.
Kenapa urutan prompt menentukan cache hit rate?
Semua penyedia besar melakukan cache berdasarkan prefiks. Panduan OpenAI menyebut pemakaian ulang mensyaratkan seluruh prefiks yang dirender cocok. Dokumentasi DeepSeek menjelaskan aturan yang sama: permintaan hanya kena cache jika sepenuhnya cocok dengan prefiks yang tersimpan, dan permintaan yang menyimpang di tengah jalan tidak kena. Anthropic menyusun cache-nya dengan urutan tools, system, messages.
Di balik layar, server memakai ulang KV cache yang sudah dibangunnya untuk prefiks itu. Jadi cache adalah garis lurus dari token pertama. Byte pertama yang berbeda dari panggilan terakhir mengakhiri bagian yang bisa dipakai ulang. Satu baris timestamp di bagian atas prompt 50.000 token membuat Anda membayar seluruh 50.000 token itu dengan harga penuh.
Seperti apa urutan lapisan yang benar?
| Lapisan | Berubah | Contoh | Aturan |
|---|---|---|---|
| 1. System prompt | Per deploy | Peran, aturan, format output | Tanpa tanggal, ID, nama pengguna |
| 2. Definisi tool | Per deploy | Skema fungsi | Diurutkan, JSON deterministik |
| 3. Materi referensi | Per sesi atau tugas | File repo, kontrak, dokumen produk | Urutan tetap, label stabil |
| 4. Riwayat percakapan | Per giliran, hanya ditambah | Giliran pengguna dan asisten sebelumnya | Jangan pernah diedit; hanya ditambah |
| 5. Pesan baru | Setiap panggilan | Pertanyaan, plus waktu saat ini jika perlu | Data yang berubah-ubah ditaruh di sini |
Lapisan 5 adalah tempat untuk apa pun yang berubah-ubah: tanggal saat ini, locale pengguna, ID permintaan, potongan hasil retrieval yang berbeda per pertanyaan.
Apa yang merusak prefiks tanpa Anda sadari?
- Urutan dictionary. Framework sering membangun array
toolsdari dict atau registry. Jika plugin dimuat dengan urutan berbeda, byte-nya berubah. - Format JSON.
json.dumps(x)danjson.dumps(x, indent=2)adalah prefiks yang berbeda. Begitu juga dua serializer dengan urutan key yang berbeda. - Spasi di template. Spasi di akhir baris, atau
\r\ndari satu jalur kode dan\ndari jalur lain. - Daftar tool dinamis. Menghapus tool yang tidak bisa dipakai pengguna mengubah prefiks. Panduan OpenAI menyarankan definisinya tetap stabil dan pemakaiannya dibatasi dengan
tool_choiceatau pengaturan allowed tools. - Meringkas riwayat di tempat. Menulis ulang giliran lama menjadi ringkasan mereset semua yang ada setelah system prompt. Ringkas sesekali saja, dalam langkah besar.
- Retrieval sebelum instruksi. Potongan RAG yang ditaruh di antara system prompt dan tool berbeda per kueri dan ikut merusak lapisan tool.
Bagaimana membangun permintaan yang ramah cache di kode?
Jadikan setiap lapisan sebagai fungsi dari input yang stabil saja, dan serialisasi secara deterministik:
import json, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
SYSTEM = open("prompts/system.md").read() # versioned file, no templating
def stable_tools(registry: dict) -> list:
# Sort by name, sort keys inside each schema.
return [json.loads(json.dumps(registry[name], sort_keys=True)) for name in sorted(registry)]
def docs_block(paths: list[str]) -> str:
parts = [f"=== {p} ===\n{open(p).read()}" for p in sorted(paths)]
return "\n\n".join(parts)
def build_messages(history: list, user_text: str, now_iso: str, doc_paths: list[str]):
return (
[{"role": "system", "content": SYSTEM},
{"role": "user", "content": docs_block(doc_paths)}]
+ history # append-only
+ [{"role": "user", "content": f"(now: {now_iso})\n{user_text}"}]
)
resp = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
messages=build_messages(history, question, now_iso, files),
tools=stable_tools(TOOLS),
)
history += [{"role": "user", "content": question}, resp.choices[0].message.model_dump(exclude_none=True)]
Dua detail. Waktu saat ini masuk ke pesan terakhir, bukan system prompt. Dan riwayat menyimpan pesan asisten persis seperti yang dikembalikan, sehingga panggilan berikutnya mengirim ulang byte yang identik.
Bagaimana membuktikan prefiksnya ter-cache?
Jalankan tes dua panggilan di CI atau notebook:
- Buat permintaan dengan system prompt, tool, dan dokumen Anda yang sebenarnya.
- Kirim. Catat
usage.prompt_tokens. - Ubah hanya pesan pengguna terakhir dan kirim lagi.
- Baca
usage.prompt_tokens_details.cached_tokensdi panggilan kedua. Nilainya seharusnya mencakup hampir seluruh prefiks bersama. - Jika nol atau kecil, bandingkan body permintaan yang sudah diserialisasi byte demi byte. Perbedaan pertama itulah perusak cache Anda.
Caching di kebanyakan penyedia bersifat best-effort, dan dokumentasi DeepSeek menyatakannya langsung, jadi satu kali miss bukan bukti adanya bug. Miss yang konsisten, itu baru bukti. Pantau rasio token cache terhadap token prompt per permintaan di log pemakaian Anda, dan pakai kalkulator prompt caching untuk melihat berapa yang dihemat jika hit rate lebih tinggi.
Apa bedanya untuk agen dan konteks panjang?
Agen paling diuntungkan karena mengirim ulang prefiks besar yang sama puluhan kali per tugas. Dua kebiasaan yang penting:
- Satu percakapan per tugas. Memulai percakapan baru untuk setiap sublangkah membuang prefiksnya.
- Baca file sekali, di dekat bagian atas. Jika agen membaca ulang sebuah file, tambahkan salinan baru di akhir alih-alih mengganti yang lama, kecuali file-nya memang berubah.
Dengan context window 1 juta token, lapisan 3 bisa memuat seluruh repositori. Itu baru terjangkau dengan kunci per token jika ter-cache, itulah sebabnya urutan lapisan makin penting seiring prompt membesar. Prefiks yang ter-cache juga cenderung mempercepat waktu ke token pertama; lihat TTFT vs throughput.
Posisi BroadNet Inference
Di BroadNet Inference, blok usage melaporkan prompt_tokens_details.cached_tokens saat model melaporkannya, dan input cache di DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B ditagih dengan tarif lebih rendah yang tercantum di halaman harga. Dokumentasi BroadNet tidak menawarkan cache breakpoint eksplisit atau parameter cache key, jadi tata letak di atas adalah seluruh tekniknya. Di paket unlimited, cache tidak mengubah tagihan karena sesi tidak punya meteran token, tetapi struktur yang sama tetap membantu latensi.
