BroadRouter
Mulakan

Token input cache: cara mengurangkan bil API LLM

Oleh pasukan BroadNet Inference · 5 minit bacaan · Diterbitkan · Dikemas kini

Token input cache ialah token prompt yang telah diproses oleh penyedia dan boleh digunakan semula, jadi ia dibilkan pada kadar lebih rendah. Di BroadNet Inference, DeepSeek V4.1 Flash mengebil input cache pada $0.0055 bagi setiap 1M token berbanding $0.175 untuk input baharu. Letakkan bahagian stabil setiap prompt di hadapan dan kekalkannya sama antara panggilan untuk mendapat diskaun.

Kebanyakan apa yang dihantar oleh ejen kepada LLM adalah sama pada setiap giliran: system prompt, definisi tools, fail yang sedang diusahakan dan perbualan setakat ini. Hanya mesej terakhir yang baharu. Dengan prompt caching, penyedia tidak mengebil bahagian berulang itu pada harga penuh.

Apakah token input cache?

Setiap permintaan terdiri daripada token input dan output. Sebelum model boleh menjawab, ia memproses keseluruhan prompt. Jika permintaan sebelumnya bermula dengan token yang sama tepat, sistem penyajian boleh menggunakan semula kerja itu dan tidak perlu mengulanginya. Bahagian yang digunakan semula dilaporkan sebagai token input cache dan dibilkan pada kadar lebih rendah.

Dua perkara berikut terhasil daripada cara ia berfungsi:

  • Hanya prefix yang di-cache. Padanan bermula dari token pertama ke hadapan dan berhenti pada perbezaan pertama.
  • Jawapan tidak pernah di-cache. Model masih menjana output baharu, yang dibilkan pada harga output penuh.

Berapakah kos token cache di BroadNet Inference?

Bagi setiap 1 juta token, daripada fail harga yang diterbitkan:

Model Input baharu Input cache Output
DeepSeek V4.1 Flash $0.175 $0.0055 $0.52
GLM 5.3 $0.78 $0.173 $3.46
Qwen3.8 27B $0.175 $0.0435 $2.17

Bagi DeepSeek V4.1 Flash jurangnya besar: bandingkan $0.0055 bagi setiap 1M token cache dengan $0.175 bagi setiap 1M token baharu. Bagi ejen yang menghantar semula repositori 200,000 token pada setiap giliran, kadar cache menentukan sebahagian besar bil.

Berapa banyak yang boleh dijimatkan oleh cache? Contoh pengiraan

Ejen pengekodan menghantar prompt 200,000 token sebanyak 100 kali dalam satu hari bekerja. Itu 20 juta token input sehari.

Kadar cache Token input baharu Token input cache
0% 20M pada $0.175 bagi setiap 1M 0
50% 10M pada $0.175 bagi setiap 1M 10M pada $0.0055 bagi setiap 1M
90% 2M pada $0.175 bagi setiap 1M 18M pada $0.0055 bagi setiap 1M

Formula untuk bil input harian ialah new tokens (M) × input price + cached tokens (M) × cached price. Pada 90%, 18M daripada 20M token input dibilkan pada harga cache dan bukannya harga input penuh, jadi semakin besar jurang antara kedua-dua harga, semakin banyak bil input yang anda jimatkan. Output tidak berubah. Cuba angka anda sendiri dalam kalkulator prompt caching.

Bagaimanakah melihat token cache dalam respons API?

Rujukan API BroadNet menyatakan bahawa apabila model melaporkannya, objek usage membawa prompt_tokens_details.cached_tokens: token prompt yang dibaca daripada cache, dibilkan pada harga cache. Dalam strim, minta usage dalam cebisan terakhir:

from openai import OpenAI
import os

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
messages = [
    {"role": "system", "content": "You are a code reviewer."},  # stable prefix: keep it identical
    {"role": "user", "content": "Review the diff below."},
]
stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=messages,
    stream=True,
    stream_options={"include_usage": True},
)
for chunk in stream:
    if chunk.usage:
        u = chunk.usage
        cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
        print(f"prompt={u.prompt_tokens} cached={cached} rate={cached / max(1, u.prompt_tokens):.0%}")

Log kadar itu bagi setiap permintaan selama sehari. Ia memberitahu apa yang sebenarnya anda bayar, dan itulah angka untuk dimasukkan ke dalam kalkulator prompt caching. Maklumat lanjut tentang usage semasa penstriman ada dalam panduan penstriman.

Bagaimanakah prompt caching berbeza antara OpenAI, Anthropic dan DeepSeek?

Cache tidak diseragamkan. Inilah kata dokumentasi rasmi semasa kami menyemaknya pada 14 November 2026:

OpenAI Anthropic DeepSeek (API langsung)
Pengaktifan Secara lalai untuk model yang disokong Pilih masuk dengan medan cache_control (automatik atau setiap blok) Secara lalai untuk semua pengguna
Prompt minimum 1,024 token pada GPT-5.6 dan lebih baharu 512 hingga 4,096 token, bergantung pada model Tiada minimum dinyatakan
Hayat cache 30 minit secara lalai pada GPT-5.6 dan lebih baharu; pilihan 12 jam 5 minit secara lalai, 1 jam dengan kos tambahan Usaha terbaik; dikosongkan apabila tidak digunakan, “a few hours to a few days” (Terjemahan: beberapa jam hingga beberapa hari)
Penulisan 1.25× input (30 minit) atau 2.5× (12 jam) pada GPT-5.6 dan lebih baharu 1.25× input untuk 5 minit, 2× untuk 1 jam Tiada caj penulisan disebut
Pembacaan 0.1× input pada GPT-5.6 dan lebih baharu (0.05× pada GPT-6.1 Sol dan Terra) 0.1× input pada kebanyakan model, lebih rendah pada sesetengahnya Harga “cache hit” (Terjemahan: kena cache) berasingan
Medan usage cached_tokens dalam butiran token cache_read_input_tokens prompt_cache_hit_tokens

Sumber: panduan prompt caching OpenAI, dokumentasi prompt caching Anthropic dan dokumentasi context caching DeepSeek. Jika penulisan dikenakan kos tambahan, cache yang ditulis tetapi tidak pernah dibaca berharga lebih daripada tiada cache langsung. Cache hanya berbaloi pada prompt yang benar-benar anda ulang. Untuk membandingkan harga senarai setiap model, lihat jadual harga API LLM.

Apakah yang merendahkan kadar cache anda?

Cache memadankan prefix yang tepat, jadi apa-apa yang berubah di awal prompt menjadikan selebihnya baharu. Punca biasa:

  • cap masa, ID permintaan atau nama pengguna berhampiran bahagian atas system prompt;
  • definisi tools atau JSON yang disirikan dengan susunan kunci berbeza pada setiap panggilan, yang mengubah token;
  • ejen yang menulis semula atau meringkaskan sejarahnya dan bukannya menambah di hujung;
  • jeda panjang, selepas itu cache telah tamat tempoh.

Pembetulannya ialah susunan lapisan yang tetap (system prompt, tools, dokumen, sejarah, mesej baharu) dengan setiap lapisan sama bait demi bait antara panggilan. Panduan kami tentang cara menyusun prompt supaya prefix di-cache menunjukkan susun atur itu dalam kod, dengan ujian yang membuktikan prefix digunakan semula.

Bilakah cache tidak lagi penting?

Pada pelan harga tetap, bil tidak bergantung pada token langsung. Full Moon berharga $60 sebulan bagi setiap sesi untuk DeepSeek V4.1 Flash tanpa had. Jika ejen anda sudah melepasi titik pulang modal, kadar cache bukan lagi masalah kos. Pada prompt panjang, tabiat di atas masih membantu kelajuan, jadi ia berbaloi dikekalkan walau apa pun pilihan anda.

Mengapakah cache lebih penting dengan konteks panjang?

DeepSeek V4.1 Flash dan GLM 5.3 menerima sehingga 1,048,576 token bagi setiap permintaan. Cache ialah apa yang menjadikan prompt yang sangat panjang mampu dibayar pada kunci setiap token, kerana bahagian besar dan berulang dalam tetingkap konteks dibilkan pada kadar cache. Lihat bilakah tetingkap konteks 1M token berbaloi.

Di manakah BroadNet Inference sesuai

BroadNet menerbitkan harga input cache untuk setiap model chat yang mempunyainya dan melaporkan token cache dalam usage apabila model melaporkannya, jadi anda boleh mengukur kadar anda sebelum membuat komitmen. Ia tidak menerbitkan hayat cache atau panjang prompt minimum, jadi ukur kedua-duanya pada trafik anda sendiri. Jika ejen anda berjalan sepanjang hari, pelan harga tetap menghapuskan soalan ini sepenuhnya.

Soalan lazim

Adakah saya perlu mengaktifkan prompt caching?

Bergantung pada penyedia. OpenAI dan DeepSeek membuat cache secara automatik; Anthropic memerlukan medan cache_control. Di BroadNet Inference, semak blok usage: apabila model melaporkan token cache, ia muncul sebagai prompt_tokens_details.cached_tokens dan dibilkan pada harga input cache.

Bagaimanakah saya menyemak sama ada prompt caching berfungsi?

Minta usage pada setiap permintaan dan kira cached_tokens dibahagi dengan prompt_tokens. Kadar hampir sifar pada panggilan kedua bagi prompt panjang yang berulang bermaksud sesuatu di awal prompt berubah antara panggilan.

Mengapakah kadar cache saya rendah?

Biasanya kerana sesuatu di awal prompt berubah pada setiap panggilan, seperti cap masa, ID permintaan atau senarai tools yang disusun semula. Pindahkan kandungan yang berubah ke hujung.

Apakah perbezaan antara prompt caching dan response caching?

Prompt caching menggunakan semula kerja penyedia pada prefix prompt yang berulang, dan model masih menulis jawapan baharu. Response caching ialah sesuatu yang anda bina sendiri, menyimpan keseluruhan jawapan dan memulangkannya untuk soalan yang sama tanpa memanggil model.

Adakah token cache percuma?

Tidak. Ia dibilkan pada kadar lebih rendah, bukan sifar. Pada DeepSeek V4.1 Flash, input cache berharga $0.0055 bagi setiap 1M token, dan output dibilkan sepenuhnya.

Adakah cache penting pada pelan tanpa had?

Tidak untuk bil, kerana sesi pelan tiada meter token. Ia masih memendekkan masa ke token pertama pada prompt panjang dalam banyak sistem penyajian, jadi tabiat yang sama tetap membantu.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity