Sebagian besar yang dikirim agen sama di setiap giliran. Prompt caching memungkinkan penyedia melewati perhitungan ulang bagian yang berulang itu, dan menagihnya lebih murah.
Cara kerjanya
Saat model membaca prompt, model menghitung state internal untuk setiap token. Penyedia bisa menyimpan state itu untuk waktu singkat. Jika permintaan berikutnya dimulai dengan token yang sama, penyedia membaca state yang tersimpan alih-alih menghitungnya ulang. Token-token itulah token input cache.
Cache dicocokkan dari awal prompt. Panduan OpenAI menyebut pemakaian ulang “requires the entire rendered prefix to match” (terjemahan: mensyaratkan seluruh prefiks yang dirender cocok). Satu karakter yang berubah di awal prompt membuat semua yang ada sesudahnya menjadi input baru.
Penyedia berbeda dalam detailnya:
- OpenAI mengaktifkan caching secara default pada model yang didukung dan melaporkan hit di blok usage. OpenAI mendokumentasikan prefiks minimum 1.024 token pada model-model barunya.
- Anthropic menagih pembacaan cache sebesar 0,1 kali harga input dasar untuk sebagian besar model, menagih penulisan cache dengan harga lebih tinggi, dan menyimpan entri selama 5 menit secara default.
Dalam format Chat Completions, hit muncul sebagai usage.prompt_tokens_details.cached_tokens. Cache rate adalah angka itu dibagi prompt_tokens.
Kenapa ini penting
Untuk prompt panjang yang berulang, cache rate menentukan tagihan. Agen yang mengirim ulang repositori 200.000 token di setiap giliran membayar harga input penuh sekali dan harga cache sesudahnya, selama prefiksnya tetap stabil. Caching juga bisa mempersingkat waktu hingga token pertama pada prompt panjang, karena pekerjaan sebelum generasi dimulai lebih sedikit.
Untuk menaikkan rate-nya, letakkan konten yang stabil di depan (system prompt, definisi tool, dokumen) dan konten yang berubah di akhir. Jauhkan timestamp dan request ID dari bagian atas prompt, dan pertahankan urutan daftar tool. Berapa banyak harga penyedia yang dipublikasikan menyertakan harga input cache, serta diskon yang umum, ada di indeks harga API LLM.
Di BroadNet Inference
BroadNet memublikasikan harga input cache untuk tiga model chat, per 1 juta token:
| Model | Input baru | Input cache |
|---|---|---|
| DeepSeek V4.1 Flash | $0.175 | $0.0055 |
| GLM 5.3 | $0.78 | $0.173 |
| Qwen3.8 27B | $0.175 | $0.0435 |
Token cache otomatis ditagih dengan harga yang lebih rendah, dan prompt_tokens_details.cached_tokens menampilkannya jika model melaporkannya. Saat streaming, minta usage dengan stream_options seperti yang ditunjukkan di panduan streaming.
Pada paket harga tetap tidak ada meteran token, jadi cache rate tidak mengubah tagihan. Penjelasan lengkapnya, dengan kode untuk mencatat rate Anda, ada di penjelasan token input cache.