BroadRouter

Token input cache (cached input tokens)

Dikemas kini

Token input cache ialah token prompt yang baru sahaja diproses oleh penyedia LLM dan boleh diguna semula daripada cache tanpa dikira semula, biasanya awalan yang berulang seperti prompt sistem atau dokumen. Penyedia mengebilnya pada kadar lebih rendah daripada token input baharu.

Juga dikenali sebagai: input cache, token cache, prompt caching, cache hit, cached tokens, context caching, cache read tokens, cache hits

Kebanyakan apa yang dihantar oleh ejen adalah sama pada setiap giliran. Prompt caching membolehkan penyedia melangkau pengiraan semula bahagian berulang itu, dan mengebilnya dengan harga lebih rendah.

Cara ia berfungsi

Apabila model membaca prompt, ia mengira keadaan dalaman bagi setiap token. Penyedia boleh menyimpan keadaan itu untuk tempoh yang singkat. Jika permintaan seterusnya bermula dengan token yang sama, penyedia membaca keadaan yang disimpan dan tidak mengiranya semula. Token itu ialah token input cache.

Cache dipadankan dari permulaan prompt. Panduan OpenAI menyatakan bahawa guna semula “requires the entire rendered prefix to match.” (Terjemahan BroadRouter: “memerlukan keseluruhan awalan yang dipaparkan sepadan.”) Satu aksara yang berubah di awal prompt menjadikan semua yang selepasnya input baharu.

Penyedia berbeza dari segi butiran:

  • OpenAI mendayakan caching secara lalai pada model yang disokong dan melaporkan hit dalam blok usage. Ia mendokumenkan awalan minimum 1,024 token pada model yang lebih baharu.
  • Anthropic mengebil bacaan cache pada 0.1 kali harga input asas untuk kebanyakan model, mengenakan premium pada penulisan cache, dan menyimpan entri selama 5 minit secara lalai.

Dalam format Chat Completions, hit dipaparkan sebagai usage.prompt_tokens_details.cached_tokens. Kadar cache ialah angka itu dibahagi dengan prompt_tokens.

Mengapa ia penting

Untuk prompt yang panjang dan berulang, kadar cache menentukan bil. Ejen yang menghantar semula repositori 200,000 token pada setiap giliran membayar harga input penuh sekali, dan harga cache selepas itu, selagi awalannya stabil. Caching juga boleh memendekkan masa ke token pertama pada prompt panjang, kerana kurang kerja dilakukan sebelum penjanaan bermula.

Untuk menaikkan kadar, letakkan kandungan stabil di hadapan (prompt sistem, definisi alatan, dokumen) dan kandungan yang berubah di belakang. Jauhkan cap masa dan ID permintaan dari bahagian atas prompt, dan kekalkan susunan senarai alatan. Peratusan harga terbitan penyedia yang termasuk harga input cache, dan diskaun biasanya, ada dalam indeks harga API LLM.

Di BroadNet Inference

BroadNet menerbitkan harga input cache untuk tiga model chat, bagi setiap 1M token:

Model Input baharu Input cache
DeepSeek V4.1 Flash $0.175 $0.0055
GLM 5.3 $0.78 $0.173
Qwen3.8 27B $0.175 $0.0435

Token cache dibilkan pada harga yang lebih rendah secara automatik, dan prompt_tokens_details.cached_tokens memaparkannya apabila model melaporkannya. Dalam strim, minta usage dengan stream_options seperti yang ditunjukkan dalam panduan penstriman.

Pada pelan harga tetap tiada meter token, jadi kadar cache tidak mengubah bil. Panduan lengkap, dengan kod untuk log kadar anda, ada dalam token input cache dijelaskan.

Soalan lazim

Adakah token cache masih dikira dalam tetingkap konteks?

Ya. Caching mengubah harga yang anda bayar untuk token itu, bukan sama ada ia dikira. Dokumentasi Anthropic menyatakannya secara langsung.

Berapa lamakah cache bertahan?

Bergantung pada penyedia. Jangka hayat lalai Anthropic ialah 5 minit, diperbaharui setiap kali cache digunakan, dengan pilihan jangka hayat 1 jam. Penyedia lain tidak selalu menerbitkan tempoh tetap, jadi ukur kadar hit anda.

Adakah caching mengubah jawapan?

Tidak. Cache menyimpan kerja yang dilakukan pada prompt, bukan balasan. Model tetap menjana jawapan baharu.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity