---
title: "Apa itu token input cache? Hemat tagihan API LLM | BroadRouter"
description: "Input cache jauh lebih murah daripada input biasa. Cara prompt caching ditagih, cara membaca cached_tokens di usage, dan cara menyusun prompt agar kena cache."
url: https://broadrouter.com/id/blog/cached-input-tokens-explained/
lang: id
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/blog/cached-input-tokens-explained/) (diperbarui 2026-11-15).

# Token input cache: cara memangkas tagihan API LLM

Oleh tim BroadNet Inference · 5 menit baca · Dipublikasikan 2026-11-14 · Diperbarui 2026-11-15

Token input cache adalah token prompt yang sudah pernah diproses penyedia dan bisa dipakai ulang, sehingga ditagih dengan tarif lebih rendah. Di BroadNet Inference, DeepSeek V4.1 Flash menagih input cache $0.0055 per 1 juta token, dibanding $0.175 untuk input baru. Untuk mendapat diskonnya, letakkan bagian prompt yang stabil di depan dan jaga agar identik di setiap panggilan.

## Poin penting

-   Input cache DeepSeek V4.1 Flash: $0.0055 per 1 juta token; input baru: $0.175.
-   Blok usage melaporkan `prompt_tokens_details.cached_tokens` saat model melaporkannya, sehingga Anda bisa mengukur cache rate Anda.
-   Letakkan konten stabil di depan (system prompt, tools, dokumen) dan konten yang berubah di belakang.
-   Cache dicocokkan dari awal prompt. Satu token yang berubah di bagian awal membuat semua yang ada setelahnya menjadi baru.
-   Yang paling diuntungkan adalah agen yang mengirim ulang konteks repositori yang sama di setiap giliran.

**Di halaman ini**

1.  Apa itu token input cache?
2.  Berapa harga token cache di BroadNet Inference?
3.  Seberapa besar penghematan dari caching? Contoh hitungan
4.  Bagaimana melihat token cache di respons API?
5.  Apa beda prompt caching di OpenAI, Anthropic, dan DeepSeek?
6.  Apa yang menurunkan cache rate Anda?
7.  Kapan caching tidak lagi penting?
8.  Kenapa caching lebih penting pada konteks panjang?
9.  Posisi BroadNet Inference

Sebagian besar yang dikirim agen ke LLM sama di setiap giliran: system prompt, definisi tool, file yang sedang dikerjakan, dan percakapan sejauh ini. Hanya pesan terakhir yang baru. Prompt caching berarti penyedia tidak menagih bagian yang berulang itu dengan harga penuh.

## Apa itu token input cache?

Setiap permintaan terdiri dari [token input dan output](https://broadrouter.com/id/glossary/input-and-output-tokens/). Sebelum bisa menjawab, model memproses seluruh prompt. Jika permintaan sebelumnya diawali dengan token yang persis sama, sistem penyajian bisa memakai ulang kerja itu alih-alih mengulanginya. Bagian yang dipakai ulang dilaporkan sebagai [token input cache](https://broadrouter.com/id/glossary/cached-input-tokens/) dan ditagih dengan tarif lebih rendah.

Dari cara kerja ini, ada dua hal yang perlu dicatat:

-   **Hanya prefix yang di-cache.** Pencocokan berjalan dari token pertama ke depan dan berhenti di perbedaan pertama.
-   **Jawaban tidak pernah di-cache.** Model tetap menghasilkan output baru, yang ditagih dengan harga output penuh.

## Berapa harga token cache di BroadNet Inference?

Per 1 juta token, dari file harga yang dipublikasikan:

| Model | Input baru | Input cache | Output |
| --- | --- | --- | --- |
| [DeepSeek V4.1 Flash](https://broadrouter.com/id/models/deepseek-v4.1-flash/) | $0.175 | $0.0055 | $0.52 |
| [GLM 5.3](https://broadrouter.com/id/models/glm-5.3/) | $0.78 | $0.173 | $3.46 |
| [Qwen3.8 27B](https://broadrouter.com/id/models/qwen3.8-27b/) | $0.175 | $0.0435 | $2.17 |

Untuk DeepSeek V4.1 Flash, selisihnya besar: bandingkan $0.0055 per 1 juta token cache dengan $0.175 per 1 juta token baru. Bagi agen yang mengirim ulang repositori 200.000 token di setiap giliran, cache rate menentukan sebagian besar tagihan.

## Seberapa besar penghematan dari caching? Contoh hitungan

Sebuah coding agent mengirim prompt 200.000 token sebanyak 100 kali dalam satu hari kerja. Itu berarti 20 juta token input per hari.

| Cache rate | Token input baru | Token input cache |
| --- | --- | --- |
| 0% | 20 jt dengan $0.175 per 1 jt | 0 |
| 50% | 10 jt dengan $0.175 per 1 jt | 10 jt dengan $0.0055 per 1 jt |
| 90% | 2 jt dengan $0.175 per 1 jt | 18 jt dengan $0.0055 per 1 jt |

Rumus tagihan input harian adalah `new tokens (M) × input price + cached tokens (M) × cached price`. Pada 90%, 18 jt dari 20 jt token input ditagih dengan harga cache, bukan harga input penuh, jadi makin lebar selisih kedua harga itu, makin besar bagian tagihan input yang Anda hemat. Output tidak berubah. Coba angka Anda sendiri di [kalkulator prompt caching](https://broadrouter.com/tools/prompt-caching-calculator/).

## Bagaimana melihat token cache di respons API?

Referensi API BroadNet menyebutkan bahwa saat model melaporkannya, objek `usage` membawa `prompt_tokens_details.cached_tokens`: token prompt yang dibaca dari cache dan ditagih dengan harga cache. Dalam [streaming](https://broadrouter.com/id/glossary/streaming/), minta usage di chunk terakhir:

```python
from openai import OpenAI
import os

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
messages = [
    {"role": "system", "content": "You are a code reviewer."},  # stable prefix: keep it identical
    {"role": "user", "content": "Review the diff below."},
]
stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=messages,
    stream=True,
    stream_options={"include_usage": True},
)
for chunk in stream:
    if chunk.usage:
        u = chunk.usage
        cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
        print(f"prompt={u.prompt_tokens} cached={cached} rate={cached / max(1, u.prompt_tokens):.0%}")
```

Catat rasio itu per permintaan selama sehari. Angka itu menunjukkan apa yang sebenarnya Anda bayar, dan itulah angka yang dimasukkan ke [kalkulator prompt caching](https://broadrouter.com/tools/prompt-caching-calculator/). Selengkapnya tentang usage saat streaming ada di [panduan streaming](https://broadrouter.com/id/guides/streaming-chat-completions/).

## Apa beda prompt caching di OpenAI, Anthropic, dan DeepSeek?

Caching tidak terstandardisasi. Inilah isi dokumentasi resmi saat kami mengaksesnya pada 14 November 2026:

|  | OpenAI | Anthropic | DeepSeek (API langsung) |
| --- | --- | --- | --- |
| Aktivasi | Default untuk model yang didukung | Opt-in dengan field `cache_control` (otomatis atau per blok) | Default untuk semua pengguna |
| Prompt minimum | 1.024 token di GPT-5.6 dan sesudahnya | 512 sampai 4.096 token, tergantung model | Tidak disebutkan |
| Masa hidup cache | Default 30 menit di GPT-5.6 dan sesudahnya; ada opsi 12 jam | Default 5 menit, 1 jam dengan biaya tambahan | Best effort; dihapus saat tidak dipakai, “a few hours to a few days” (Terjemahan BroadRouter: “beberapa jam hingga beberapa hari”) |
| Penulisan | 1,25× input (30 menit) atau 2,5× (12 jam) di GPT-5.6 dan sesudahnya | 1,25× input untuk 5 menit, 2× untuk 1 jam | Tidak disebut ada biaya penulisan |
| Pembacaan | 0,1× input di GPT-5.6 dan sesudahnya (0,05× di GPT-6.1 Sol dan Terra) | 0,1× input di sebagian besar model, lebih rendah di beberapa | Harga “cache hit” tersendiri |
| Field usage | `cached_tokens` di detail token | `cache_read_input_tokens` | `prompt_cache_hit_tokens` |

Sumber: [panduan prompt caching OpenAI](https://developers.openai.com/api/docs/guides/prompt-caching), [dokumentasi prompt caching Anthropic](https://platform.claude.com/docs/en/build-with-claude/prompt-caching), dan [dokumentasi context caching DeepSeek](https://api-docs.deepseek.com/guides/kv_cache). Di penyedia yang mengenakan biaya tambahan untuk penulisan, cache yang ditulis tetapi tidak pernah dibaca justru lebih mahal daripada tanpa cache sama sekali. Caching hanya menguntungkan untuk prompt yang benar-benar Anda ulang. Untuk membandingkan harga daftar per model, lihat [tabel harga API LLM](https://broadrouter.com/id/llm-api-pricing/).

## Apa yang menurunkan cache rate Anda?

Cache mencocokkan prefix yang persis sama, jadi apa pun yang berubah di bagian awal prompt membuat sisanya menjadi baru. Penyebab yang umum:

-   timestamp, ID permintaan, atau nama pengguna di dekat bagian atas system prompt;
-   definisi tool atau JSON yang diserialisasi dengan urutan key berbeda di setiap panggilan, sehingga [token](https://broadrouter.com/id/glossary/token/)\-nya berubah;
-   agen yang menulis ulang atau meringkas riwayatnya alih-alih menambahkannya di belakang;
-   jeda panjang, setelah itu cache sudah kedaluwarsa.

Solusinya adalah urutan lapisan yang tetap (system prompt, tools, dokumen, riwayat, pesan baru) dengan setiap lapisan identik byte demi byte di setiap panggilan. Panduan kami tentang [cara menyusun prompt agar prefix-nya ter-cache](https://broadrouter.com/id/blog/prompt-structure-for-caching/) membahas tata letak itu dalam kode, lengkap dengan pengujian yang membuktikan prefix-nya dipakai ulang.

## Kapan caching tidak lagi penting?

Di paket harga tetap, tagihan sama sekali tidak bergantung pada token. Full Moon berharga $60 per bulan per sesi untuk DeepSeek V4.1 Flash tanpa batas. Jika agen Anda sudah melewati [titik impas](https://broadrouter.com/id/blog/flat-rate-vs-pay-per-token-llm-api/), cache rate tidak lagi menjadi masalah biaya. Pada prompt panjang, kebiasaan di atas tetap membantu kecepatan, jadi tetap layak dipertahankan.

## Kenapa caching lebih penting pada konteks panjang?

DeepSeek V4.1 Flash dan GLM 5.3 menerima hingga 1.048.576 token per permintaan. Caching-lah yang membuat prompt sangat panjang tetap terjangkau pada kunci per token, karena bagian besar yang berulang dari [context window](https://broadrouter.com/id/glossary/context-window/) ditagih dengan tarif cache. Lihat [kapan context window 1 juta token layak dipakai](https://broadrouter.com/id/blog/million-token-context-window-guide/).

## Posisi BroadNet Inference

BroadNet memublikasikan harga input cache untuk setiap model chat yang memilikinya dan melaporkan token cache di usage saat model melaporkannya, sehingga Anda bisa mengukur rasio Anda sebelum berkomitmen. BroadNet tidak memublikasikan masa hidup cache atau panjang prompt minimum, jadi ukurlah keduanya pada trafik Anda sendiri. Jika agen Anda berjalan sepanjang hari, paket harga tetap menghilangkan pertanyaan ini sepenuhnya.

Alat gratis untuk topik ini (bahasa Inggris)

-   [LLM API cost calculator](https://broadrouter.com/tools/llm-api-cost-calculator/) Price a workload on every model at once, with cache hits, reasoning and a flat-plan check.
-   [Flat-rate vs per-token LLM cost calculator](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) Break-even between an unlimited plan and paying per token, per agent.
-   [Prompt caching savings calculator](https://broadrouter.com/tools/prompt-caching-calculator/) Bill with and without caching, by prefix share and hit rate.
-   [Prompt token diff](https://broadrouter.com/tools/prompt-token-diff/) Two prompt versions side by side: changed lines, exact token delta and the monthly cost difference.

[Alat gratis (bahasa Inggris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Token](https://broadrouter.com/id/glossary/token/)

Token adalah satuan teks yang dibaca dan ditulis model bahasa: sebuah kata, bagian kata, tanda baca, atau urutan byte yang dihasilkan tokenizer model. API LLM menghitung, membatasi, dan biasanya menagih pemakaian dalam token.

[Token input cache (cached input tokens)](https://broadrouter.com/id/glossary/cached-input-tokens/)

Token input cache adalah token prompt yang baru saja diproses penyedia LLM dan bisa dipakai ulang dari cache alih-alih dihitung lagi, biasanya prefiks berulang seperti system prompt atau dokumen. Penyedia menagihnya dengan tarif lebih rendah daripada token input baru.

[Token input dan output](https://broadrouter.com/id/glossary/input-and-output-tokens/)

Token input adalah token yang dibaca model bahasa dalam sebuah permintaan, termasuk system prompt, riwayat percakapan, definisi tool, dan gambar. Token output adalah token yang dihasilkannya sebagai balasan, termasuk penalaran. API LLM biasanya menghargainya secara terpisah, dan output biasanya lebih mahal.

[Streaming (respons streaming)](https://broadrouter.com/id/glossary/streaming/)

Streaming adalah cara mengembalikan respons model bahasa dalam potongan-potongan kecil selagi masih dihasilkan, bukan sebagai satu balasan utuh di akhir. API yang kompatibel dengan OpenAI melakukan streaming lewat server-sent events jika permintaan mengatur stream ke true.

[System prompt (prompt sistem)](https://broadrouter.com/id/glossary/system-prompt/)

System prompt adalah teks instruksi yang dikirim aplikasi ke model bahasa sebelum percakapan, biasanya sebagai pesan dengan peran system atau developer. System prompt menetapkan peran, aturan, gaya bahasa, dan format output model, dan model dirancang untuk mengikutinya di atas pesan pengguna yang bertentangan.

[Context window (jendela konteks)](https://broadrouter.com/id/glossary/context-window/)

Context window adalah jumlah token maksimum yang bisa diolah model bahasa dalam satu permintaan. Cakupannya meliputi prompt, riwayat percakapan, definisi tool, gambar, dan output yang dihasilkan, termasuk token penalaran. Apa pun yang tidak muat harus dipotong, diringkas, atau dibagi ke beberapa permintaan.

[Tool calling (function calling)](https://broadrouter.com/id/glossary/tool-calling/)

Tool calling, disebut juga function calling, adalah fitur API LLM di mana model mengembalikan permintaan terstruktur untuk menjalankan fungsi yang didefinisikan developer, lengkap dengan argumen JSON. Aplikasi yang menjalankan fungsi itu dan mengirim hasilnya kembali; model tidak pernah menjalankan kode sendiri.

[Paket LLM harga tetap (flat-rate)](https://broadrouter.com/id/glossary/flat-rate-llm-plan/)

Paket LLM harga tetap menagih harga tetap untuk satu periode, misalnya sebulan, untuk akses ke API model bahasa, alih-alih menagih per token. Paket seperti ini biasanya membatasi hal lain, seperti konkurensi, kecepatan, model, atau jendela pemakaian, jadi batasnya sama pentingnya dengan harganya.

## Pertanyaan umum

### Apakah prompt caching perlu diaktifkan?

Tergantung penyedianya. OpenAI dan DeepSeek melakukan caching otomatis; Anthropic memerlukan field cache\_control. Di BroadNet Inference, cek blok usage: saat model melaporkan token cache, token itu muncul sebagai prompt\_tokens\_details.cached\_tokens dan ditagih dengan harga input cache.

### Bagaimana cara mengecek apakah prompt caching berjalan?

Minta data usage di setiap permintaan, lalu hitung cached\_tokens dibagi prompt\_tokens. Jika rasionya mendekati nol pada panggilan kedua dari prompt panjang yang berulang, berarti ada sesuatu di bagian awal prompt yang berubah antar panggilan.

### Kenapa cache rate saya rendah?

Biasanya karena ada sesuatu di bagian awal prompt yang berubah di setiap panggilan, seperti timestamp, ID permintaan, atau daftar tool yang urutannya berubah. Pindahkan konten yang berubah ke bagian akhir.

### Apa bedanya prompt caching dan response caching?

Prompt caching memakai ulang kerja penyedia atas prefix prompt yang berulang, dan model tetap menulis jawaban baru. Response caching adalah sesuatu yang Anda bangun sendiri, yaitu menyimpan jawaban utuh dan mengembalikannya untuk pertanyaan yang identik tanpa memanggil model.

### Apakah token cache gratis?

Tidak. Token cache ditagih dengan tarif lebih rendah, bukan nol. Di DeepSeek V4.1 Flash, input cache berharga $0.0055 per 1 juta token, dan output tetap ditagih penuh.

### Apakah caching penting di paket unlimited?

Tidak untuk tagihan, karena sesi paket tidak punya meteran token. Namun di banyak sistem penyajian, caching tetap memperpendek waktu sampai token pertama pada prompt panjang, jadi kebiasaan yang sama tetap membantu.

## Baca juga

-   [Cara menyusun prompt agar prefiksnya ter-cache](https://broadrouter.com/id/blog/prompt-structure-for-caching/)
-   [Harga API LLM: input, input cache, output, dan token penalaran](https://broadrouter.com/id/blog/llm-api-pricing-explained/)
-   [API LLM harga tetap vs bayar per token: hitungan titik impas](https://broadrouter.com/id/blog/flat-rate-vs-pay-per-token-llm-api/)
-   [Kapan context window 1M token sepadan (dan kapan tidak)](https://broadrouter.com/id/blog/million-token-context-window-guide/)
-   [Cache respons API LLM untuk memangkas biaya: exact cache di Python](https://broadrouter.com/id/blog/cache-llm-responses-cut-cost/)
-   [Perubahan harga API LLM Oktober 2026: 3 kenaikan, tanpa penurunan](https://broadrouter.com/id/blog/llm-api-price-changes-october-2026/)
-   [Seberapa sering harga API LLM berubah? Arsip halaman harga 3 tahun](https://broadrouter.com/id/blog/how-often-llm-api-prices-change/)
-   [Panduan: Streaming chat completions dan menangani koneksi terputus](https://broadrouter.com/id/guides/streaming-chat-completions/)
-   [Panduan: Memakai OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/id/guides/openai-python-sdk/)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-cached-input-tokens-explained&utm_content=page-cta) ·

**Sumber**

-   [Referensi API BroadNet Inference, token penalaran dan token cache (diakses 2026-11-14) (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-cached-input-tokens-explained&utm_content=sources)
-   [Harga BroadNet Inference dalam format yang bisa dibaca mesin (pricing.json, diakses 2026-11-14) (bahasa Inggris)](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-cached-input-tokens-explained&utm_content=sources)
-   [Panduan prompt caching OpenAI (diakses 2026-11-14)](https://developers.openai.com/api/docs/guides/prompt-caching)
-   [Dokumentasi prompt caching Anthropic (diakses 2026-11-14)](https://platform.claude.com/docs/en/build-with-claude/prompt-caching)
-   [Dokumentasi API DeepSeek, context caching (diakses 2026-11-14)](https://api-docs.deepseek.com/guides/kv_cache)
