Kebanyakan apa yang dihantar oleh ejen kepada LLM adalah sama pada setiap giliran: system prompt, definisi tools, fail yang sedang diusahakan dan perbualan setakat ini. Hanya mesej terakhir yang baharu. Dengan prompt caching, penyedia tidak mengebil bahagian berulang itu pada harga penuh.
Apakah token input cache?
Setiap permintaan terdiri daripada token input dan output. Sebelum model boleh menjawab, ia memproses keseluruhan prompt. Jika permintaan sebelumnya bermula dengan token yang sama tepat, sistem penyajian boleh menggunakan semula kerja itu dan tidak perlu mengulanginya. Bahagian yang digunakan semula dilaporkan sebagai token input cache dan dibilkan pada kadar lebih rendah.
Dua perkara berikut terhasil daripada cara ia berfungsi:
- Hanya prefix yang di-cache. Padanan bermula dari token pertama ke hadapan dan berhenti pada perbezaan pertama.
- Jawapan tidak pernah di-cache. Model masih menjana output baharu, yang dibilkan pada harga output penuh.
Berapakah kos token cache di BroadNet Inference?
Bagi setiap 1 juta token, daripada fail harga yang diterbitkan:
| Model | Input baharu | Input cache | Output |
|---|---|---|---|
| DeepSeek V4.1 Flash | $0.175 | $0.0055 | $0.52 |
| GLM 5.3 | $0.78 | $0.173 | $3.46 |
| Qwen3.8 27B | $0.175 | $0.0435 | $2.17 |
Bagi DeepSeek V4.1 Flash jurangnya besar: bandingkan $0.0055 bagi setiap 1M token cache dengan $0.175 bagi setiap 1M token baharu. Bagi ejen yang menghantar semula repositori 200,000 token pada setiap giliran, kadar cache menentukan sebahagian besar bil.
Berapa banyak yang boleh dijimatkan oleh cache? Contoh pengiraan
Ejen pengekodan menghantar prompt 200,000 token sebanyak 100 kali dalam satu hari bekerja. Itu 20 juta token input sehari.
| Kadar cache | Token input baharu | Token input cache |
|---|---|---|
| 0% | 20M pada $0.175 bagi setiap 1M | 0 |
| 50% | 10M pada $0.175 bagi setiap 1M | 10M pada $0.0055 bagi setiap 1M |
| 90% | 2M pada $0.175 bagi setiap 1M | 18M pada $0.0055 bagi setiap 1M |
Formula untuk bil input harian ialah new tokens (M) × input price + cached tokens (M) × cached price. Pada 90%, 18M daripada 20M token input dibilkan pada harga cache dan bukannya harga input penuh, jadi semakin besar jurang antara kedua-dua harga, semakin banyak bil input yang anda jimatkan. Output tidak berubah. Cuba angka anda sendiri dalam kalkulator prompt caching.
Bagaimanakah melihat token cache dalam respons API?
Rujukan API BroadNet menyatakan bahawa apabila model melaporkannya, objek usage membawa prompt_tokens_details.cached_tokens: token prompt yang dibaca daripada cache, dibilkan pada harga cache. Dalam strim, minta usage dalam cebisan terakhir:
from openai import OpenAI
import os
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
messages = [
{"role": "system", "content": "You are a code reviewer."}, # stable prefix: keep it identical
{"role": "user", "content": "Review the diff below."},
]
stream = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
messages=messages,
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
if chunk.usage:
u = chunk.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"prompt={u.prompt_tokens} cached={cached} rate={cached / max(1, u.prompt_tokens):.0%}")
Log kadar itu bagi setiap permintaan selama sehari. Ia memberitahu apa yang sebenarnya anda bayar, dan itulah angka untuk dimasukkan ke dalam kalkulator prompt caching. Maklumat lanjut tentang usage semasa penstriman ada dalam panduan penstriman.
Bagaimanakah prompt caching berbeza antara OpenAI, Anthropic dan DeepSeek?
Cache tidak diseragamkan. Inilah kata dokumentasi rasmi semasa kami menyemaknya pada 14 November 2026:
| OpenAI | Anthropic | DeepSeek (API langsung) | |
|---|---|---|---|
| Pengaktifan | Secara lalai untuk model yang disokong | Pilih masuk dengan medan cache_control (automatik atau setiap blok) |
Secara lalai untuk semua pengguna |
| Prompt minimum | 1,024 token pada GPT-5.6 dan lebih baharu | 512 hingga 4,096 token, bergantung pada model | Tiada minimum dinyatakan |
| Hayat cache | 30 minit secara lalai pada GPT-5.6 dan lebih baharu; pilihan 12 jam | 5 minit secara lalai, 1 jam dengan kos tambahan | Usaha terbaik; dikosongkan apabila tidak digunakan, “a few hours to a few days” (Terjemahan: beberapa jam hingga beberapa hari) |
| Penulisan | 1.25× input (30 minit) atau 2.5× (12 jam) pada GPT-5.6 dan lebih baharu | 1.25× input untuk 5 minit, 2× untuk 1 jam | Tiada caj penulisan disebut |
| Pembacaan | 0.1× input pada GPT-5.6 dan lebih baharu (0.05× pada GPT-6.1 Sol dan Terra) | 0.1× input pada kebanyakan model, lebih rendah pada sesetengahnya | Harga “cache hit” (Terjemahan: kena cache) berasingan |
| Medan usage | cached_tokens dalam butiran token |
cache_read_input_tokens |
prompt_cache_hit_tokens |
Sumber: panduan prompt caching OpenAI, dokumentasi prompt caching Anthropic dan dokumentasi context caching DeepSeek. Jika penulisan dikenakan kos tambahan, cache yang ditulis tetapi tidak pernah dibaca berharga lebih daripada tiada cache langsung. Cache hanya berbaloi pada prompt yang benar-benar anda ulang. Untuk membandingkan harga senarai setiap model, lihat jadual harga API LLM.
Apakah yang merendahkan kadar cache anda?
Cache memadankan prefix yang tepat, jadi apa-apa yang berubah di awal prompt menjadikan selebihnya baharu. Punca biasa:
- cap masa, ID permintaan atau nama pengguna berhampiran bahagian atas system prompt;
- definisi tools atau JSON yang disirikan dengan susunan kunci berbeza pada setiap panggilan, yang mengubah token;
- ejen yang menulis semula atau meringkaskan sejarahnya dan bukannya menambah di hujung;
- jeda panjang, selepas itu cache telah tamat tempoh.
Pembetulannya ialah susunan lapisan yang tetap (system prompt, tools, dokumen, sejarah, mesej baharu) dengan setiap lapisan sama bait demi bait antara panggilan. Panduan kami tentang cara menyusun prompt supaya prefix di-cache menunjukkan susun atur itu dalam kod, dengan ujian yang membuktikan prefix digunakan semula.
Bilakah cache tidak lagi penting?
Pada pelan harga tetap, bil tidak bergantung pada token langsung. Full Moon berharga $60 sebulan bagi setiap sesi untuk DeepSeek V4.1 Flash tanpa had. Jika ejen anda sudah melepasi titik pulang modal, kadar cache bukan lagi masalah kos. Pada prompt panjang, tabiat di atas masih membantu kelajuan, jadi ia berbaloi dikekalkan walau apa pun pilihan anda.
Mengapakah cache lebih penting dengan konteks panjang?
DeepSeek V4.1 Flash dan GLM 5.3 menerima sehingga 1,048,576 token bagi setiap permintaan. Cache ialah apa yang menjadikan prompt yang sangat panjang mampu dibayar pada kunci setiap token, kerana bahagian besar dan berulang dalam tetingkap konteks dibilkan pada kadar cache. Lihat bilakah tetingkap konteks 1M token berbaloi.
Di manakah BroadNet Inference sesuai
BroadNet menerbitkan harga input cache untuk setiap model chat yang mempunyainya dan melaporkan token cache dalam usage apabila model melaporkannya, jadi anda boleh mengukur kadar anda sebelum membuat komitmen. Ia tidak menerbitkan hayat cache atau panjang prompt minimum, jadi ukur kedua-duanya pada trafik anda sendiri. Jika ejen anda berjalan sepanjang hari, pelan harga tetap menghapuskan soalan ini sepenuhnya.
