---
title: "Apa itu token input cache? Penjelasan prompt caching"
description: "Token input cache adalah token prompt yang dipakai ulang penyedia dari permintaan terbaru dan ditagih lebih murah. Cara kerja prefix caching, serta cara mengukurnya."
url: https://broadrouter.com/id/glossary/cached-input-tokens/
lang: id
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/glossary/cached-input-tokens/) (diperbarui 2026-11-14).

# Token input cache (cached input tokens)

Diperbarui 2026-11-14

Token input cache adalah token prompt yang baru saja diproses penyedia LLM dan bisa dipakai ulang dari cache alih-alih dihitung lagi, biasanya prefiks berulang seperti system prompt atau dokumen. Penyedia menagihnya dengan tarif lebih rendah daripada token input baru.

Disebut juga: input cache, token cache, prompt caching, cache hit, cached tokens, context caching, cache read tokens, cached input tokens

Sebagian besar yang dikirim agen sama di setiap giliran. Prompt caching memungkinkan penyedia melewati perhitungan ulang bagian yang berulang itu, dan menagihnya lebih murah.

## Cara kerjanya

Saat model membaca prompt, model menghitung state internal untuk setiap token. Penyedia bisa menyimpan state itu untuk waktu singkat. Jika permintaan berikutnya dimulai dengan token yang sama, penyedia membaca state yang tersimpan alih-alih menghitungnya ulang. Token-token itulah **token input cache**.

Cache dicocokkan dari awal prompt. Panduan OpenAI menyebut pemakaian ulang “requires the entire rendered prefix to match” (terjemahan: mensyaratkan seluruh prefiks yang dirender cocok). Satu karakter yang berubah di awal prompt membuat semua yang ada sesudahnya menjadi input baru.

Penyedia berbeda dalam detailnya:

-   **OpenAI** mengaktifkan caching secara default pada model yang didukung dan melaporkan hit di blok usage. OpenAI mendokumentasikan prefiks minimum 1.024 token pada model-model barunya.
-   **Anthropic** menagih pembacaan cache sebesar 0,1 kali harga input dasar untuk sebagian besar model, menagih penulisan cache dengan harga lebih tinggi, dan menyimpan entri selama 5 menit secara default.

Dalam format Chat Completions, hit muncul sebagai `usage.prompt_tokens_details.cached_tokens`. Cache rate adalah angka itu dibagi `prompt_tokens`.

## Kenapa ini penting

Untuk prompt panjang yang berulang, cache rate menentukan tagihan. Agen yang mengirim ulang repositori 200.000 token di setiap giliran membayar harga input penuh sekali dan harga cache sesudahnya, selama prefiksnya tetap stabil. Caching juga bisa mempersingkat waktu hingga token pertama pada prompt panjang, karena pekerjaan sebelum generasi dimulai lebih sedikit.

Untuk menaikkan rate-nya, letakkan konten yang stabil di depan (system prompt, definisi tool, dokumen) dan konten yang berubah di akhir. Jauhkan timestamp dan request ID dari bagian atas prompt, dan pertahankan urutan daftar tool. Berapa banyak harga penyedia yang dipublikasikan menyertakan harga input cache, serta diskon yang umum, ada di [indeks harga API LLM](https://broadrouter.com/data/llm-api-price-index/).

## Di BroadNet Inference

BroadNet memublikasikan harga input cache untuk tiga model chat, per 1 juta token:

| Model | Input baru | Input cache |
| --- | --- | --- |
| [DeepSeek V4.1 Flash](https://broadrouter.com/id/models/deepseek-v4.1-flash/) | $0.175 | $0.0055 |
| [GLM 5.3](https://broadrouter.com/id/models/glm-5.3/) | $0.78 | $0.173 |
| [Qwen3.8 27B](https://broadrouter.com/id/models/qwen3.8-27b/) | $0.175 | $0.0435 |

Token cache otomatis ditagih dengan harga yang lebih rendah, dan `prompt_tokens_details.cached_tokens` menampilkannya jika model melaporkannya. Saat streaming, minta usage dengan `stream_options` seperti yang ditunjukkan di [panduan streaming](https://broadrouter.com/id/guides/streaming-chat-completions/).

Pada [paket harga tetap](https://broadrouter.com/id/glossary/flat-rate-llm-plan/) tidak ada meteran token, jadi cache rate tidak mengubah tagihan. Penjelasan lengkapnya, dengan kode untuk mencatat rate Anda, ada di [penjelasan token input cache](https://broadrouter.com/id/blog/cached-input-tokens-explained/).

## Pertanyaan umum

### Apakah token cache tetap dihitung dalam context window?

Ya. Caching mengubah berapa yang Anda bayar untuk token itu, bukan apakah token itu dihitung. Dokumentasi Anthropic menyatakannya secara langsung.

### Berapa lama cache bertahan?

Tergantung penyedia. Masa berlaku default Anthropic adalah 5 menit, diperbarui setiap kali cache dipakai, dengan opsi masa berlaku 1 jam. Penyedia lain tidak selalu memublikasikan waktu yang pasti, jadi ukur hit rate Anda.

### Apakah caching mengubah jawaban?

Tidak. Cache menyimpan pekerjaan yang dilakukan pada prompt, bukan balasannya. Model tetap menghasilkan jawaban baru.

## Lihat juga

-   [Token input dan output](https://broadrouter.com/id/glossary/input-and-output-tokens/) (istilah)
-   [Token](https://broadrouter.com/id/glossary/token/) (istilah)
-   [Context window (jendela konteks)](https://broadrouter.com/id/glossary/context-window/) (istilah)
-   [Bayar sesuai pemakaian (pay-as-you-go)](https://broadrouter.com/id/glossary/pay-as-you-go/) (istilah)
-   [KV cache](https://broadrouter.com/id/glossary/kv-cache/) (istilah)
-   [System prompt (prompt sistem)](https://broadrouter.com/id/glossary/system-prompt/) (istilah)
-   [Streaming chat completions dan menangani koneksi terputus](https://broadrouter.com/id/guides/streaming-chat-completions/) (panduan)
-   [Token input cache: cara memangkas tagihan API LLM](https://broadrouter.com/id/blog/cached-input-tokens-explained/) (artikel)
-   [Kapan context window 1M token sepadan (dan kapan tidak)](https://broadrouter.com/id/blog/million-token-context-window-guide/) (artikel)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-cached-input-tokens&utm_content=page-cta) ·

**Sumber**

-   [OpenAI, panduan prompt caching](https://developers.openai.com/api/docs/guides/prompt-caching)
-   [Anthropic, prompt caching (pengali harga dan masa berlaku cache)](https://platform.claude.com/docs/en/build-with-claude/prompt-caching)
-   [Referensi API BroadNet Inference, token penalaran dan token cache (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-cached-input-tokens&utm_content=sources)
-   [Harga BroadNet Inference yang dapat dibaca mesin (pricing.json) (bahasa Inggris)](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-cached-input-tokens&utm_content=sources)
