Halos pareho ang karamihan ng ipinapadala ng isang agent sa bawat turn. Sa prompt caching, nalalaktawan ng provider ang muling pagkuwenta sa paulit-ulit na bahaging iyon, at mas mababa ang singil dito.
Paano ito gumagana
Kapag binabasa ng model ang isang prompt, kinukuwenta nito ang internal state para sa bawat token. Puwedeng itago ng provider ang state na iyon nang sandali. Kung nagsisimula ang susunod na request sa parehong mga token, binabasa ng provider ang nakatagong state sa halip na kuwentahin ito ulit. Cached input token ang tawag sa mga token na iyon.
Mula sa simula ng prompt nagtutugma ang cache. Ayon sa gabay ng OpenAI, ang reuse ay “requires the entire rendered prefix to match.” (Salin ng BroadRouter: “kailangang magtugma ang buong rendered prefix.”) Kapag may isang character na nagbago sa unahan ng prompt, bagong input na ang lahat ng kasunod nito.
Magkakaiba ang mga provider sa detalye:
- OpenAI: naka-on bilang default ang caching sa mga suportadong model, at iniuulat ang mga hit sa usage block. May dokumentadong minimum na prefix na 1,024 token sa mas bagong mga model nito.
- Anthropic: sinisingil ang cache read sa 0.1 beses ng base na presyo ng input sa karamihan ng model, may dagdag na singil ang cache write, at 5 minuto ang default na tagal ng mga entry.
Sa Chat Completions format, lumalabas ang mga hit bilang usage.prompt_tokens_details.cached_tokens. Ang cache rate ay ang numerong iyon na hinati sa prompt_tokens.
Bakit ito mahalaga
Sa mahahaba at paulit-ulit na prompt, ang cache rate ang nagpapasya sa bill. Ang isang agent na nagpapadala ulit ng 200,000-token na repository sa bawat turn ay nagbabayad ng buong presyo ng input nang isang beses, at ng cached na presyo pagkatapos, basta stable ang prefix. Puwede ring paikliin ng caching ang time to first token sa mahahabang prompt, dahil mas kaunti ang trabaho bago magsimula ang pagbuo ng sagot.
Para pataasin ang rate, ilagay sa unahan ang stable na content (system prompt, tool definitions, mga dokumento) at sa dulo ang nagbabagong content. Huwag ilagay ang mga timestamp at request ID sa itaas ng prompt, at panatilihing nakaayos sa parehong pagkakasunod ang listahan ng tools. Nasa LLM API price index kung ilang porsiyento ng published na presyo ng mga provider ang may presyo para sa cached input, at ang karaniwang diskwento.
Sa BroadNet Inference
Naglalathala ang BroadNet ng presyo ng cached input para sa tatlong chat model, kada 1M token:
| Model | Bagong input | Cached input |
|---|---|---|
| DeepSeek V4.1 Flash | $0.175 | $0.0055 |
| GLM 5.3 | $0.78 | $0.173 |
| Qwen3.8 27B | $0.175 | $0.0435 |
Awtomatikong sinisingil sa mas mababang presyo ang mga cached token, at ipinapakita ang mga ito ng prompt_tokens_details.cached_tokens kapag iniuulat ito ng model. Sa isang stream, hilingin ang usage gamit ang stream_options gaya ng ipinapakita sa streaming guide.
Sa isang flat-rate plan, walang token meter, kaya hindi binabago ng cache rate ang bill. Nasa cached input tokens, ipinaliwanag ang buong walkthrough, kasama ang code para i-log ang rate mo.