Kebanyakan apa yang dihantar oleh ejen adalah sama pada setiap giliran. Prompt caching membolehkan penyedia melangkau pengiraan semula bahagian berulang itu, dan mengebilnya dengan harga lebih rendah.
Cara ia berfungsi
Apabila model membaca prompt, ia mengira keadaan dalaman bagi setiap token. Penyedia boleh menyimpan keadaan itu untuk tempoh yang singkat. Jika permintaan seterusnya bermula dengan token yang sama, penyedia membaca keadaan yang disimpan dan tidak mengiranya semula. Token itu ialah token input cache.
Cache dipadankan dari permulaan prompt. Panduan OpenAI menyatakan bahawa guna semula “requires the entire rendered prefix to match.” (Terjemahan BroadRouter: “memerlukan keseluruhan awalan yang dipaparkan sepadan.”) Satu aksara yang berubah di awal prompt menjadikan semua yang selepasnya input baharu.
Penyedia berbeza dari segi butiran:
- OpenAI mendayakan caching secara lalai pada model yang disokong dan melaporkan hit dalam blok usage. Ia mendokumenkan awalan minimum 1,024 token pada model yang lebih baharu.
- Anthropic mengebil bacaan cache pada 0.1 kali harga input asas untuk kebanyakan model, mengenakan premium pada penulisan cache, dan menyimpan entri selama 5 minit secara lalai.
Dalam format Chat Completions, hit dipaparkan sebagai usage.prompt_tokens_details.cached_tokens. Kadar cache ialah angka itu dibahagi dengan prompt_tokens.
Mengapa ia penting
Untuk prompt yang panjang dan berulang, kadar cache menentukan bil. Ejen yang menghantar semula repositori 200,000 token pada setiap giliran membayar harga input penuh sekali, dan harga cache selepas itu, selagi awalannya stabil. Caching juga boleh memendekkan masa ke token pertama pada prompt panjang, kerana kurang kerja dilakukan sebelum penjanaan bermula.
Untuk menaikkan kadar, letakkan kandungan stabil di hadapan (prompt sistem, definisi alatan, dokumen) dan kandungan yang berubah di belakang. Jauhkan cap masa dan ID permintaan dari bahagian atas prompt, dan kekalkan susunan senarai alatan. Peratusan harga terbitan penyedia yang termasuk harga input cache, dan diskaun biasanya, ada dalam indeks harga API LLM.
Di BroadNet Inference
BroadNet menerbitkan harga input cache untuk tiga model chat, bagi setiap 1M token:
| Model | Input baharu | Input cache |
|---|---|---|
| DeepSeek V4.1 Flash | $0.175 | $0.0055 |
| GLM 5.3 | $0.78 | $0.173 |
| Qwen3.8 27B | $0.175 | $0.0435 |
Token cache dibilkan pada harga yang lebih rendah secara automatik, dan prompt_tokens_details.cached_tokens memaparkannya apabila model melaporkannya. Dalam strim, minta usage dengan stream_options seperti yang ditunjukkan dalam panduan penstriman.
Pada pelan harga tetap tiada meter token, jadi kadar cache tidak mengubah bil. Panduan lengkap, dengan kod untuk log kadar anda, ada dalam token input cache dijelaskan.