Mura ang cached input token, at sa BroadNet Inference, sinisingil ito ng DeepSeek V4.1 Flash sa $0.0055 kada 1M imbes na $0.175. Sinasaklaw ng paliwanag sa cached token ang presyo at kung paano basahin ang usage field. Tungkol naman sa disenyo ang post na ito: paano ilatag ang prompt para talagang tumama ang cache, at paano ito patunayan.
Bakit ang ayos ng prompt ang nagdedesisyon sa cache hit rate?
Kada prefix nagca-cache ang bawat malaking provider. Sinasabi ng guide ng OpenAI na para magamit ulit, dapat tumugma ang buong rendered prefix. Parehong patakaran ang inilalarawan ng docs ng DeepSeek: tatama lang ang request kung buo itong tumutugma sa isang naka-store na prefix, at hindi tatama ang lumilihis sa kalagitnaan. Binubuo ng Anthropic ang cache nito sa ayos na tools, system, messages.
Sa ilalim nito, ginagamit ulit ng server ang KV cache na binuo nito para sa prefix na iyon. Kaya tuwid na linya ang cache mula sa unang token. Ang unang byte na naiiba sa nakaraang call ang nagtatapos sa bahaging magagamit ulit. Ang isang linyang timestamp sa itaas ng 50,000-token na prompt ay magpapabayad sa iyo ng lahat ng 50,000 token sa buong presyo.
Ano ang tamang ayos ng mga layer?
| Layer | Nagbabago | Halimbawa | Patakaran |
|---|---|---|---|
| 1. System prompt | Kada deploy | Role, patakaran, format ng output | Walang petsa, ID, pangalan ng user |
| 2. Tool definitions | Kada deploy | Function schema | Naka-sort, deterministic na JSON |
| 3. Reference na materyal | Kada session o task | File ng repo, kontrata, product docs | Fixed na ayos, stable na label |
| 4. History ng usapan | Kada turn, append-only | Mga naunang user at assistant turn | Huwag i-edit; dagdagan lang |
| 5. Bagong mensahe | Bawat call | Ang tanong, dagdag ang kasalukuyang oras kung kailangan | Dito ang pabagu-bagong data |
Sa layer 5 nabibilang ang anumang pabagu-bago: ang kasalukuyang petsa, ang locale ng user, isang request ID, mga retrieved na snippet na iba-iba kada tanong.
Ano ang sumisira sa prefix nang hindi mo napapansin?
- Ayos ng dictionary. Madalas binubuo ng mga framework ang
toolsarray mula sa isang dict o registry. Kapag iba ang ayos ng pag-load ng mga plugin, nagbabago ang mga byte. - Format ng JSON. Magkaibang prefix ang
json.dumps(x)atjson.dumps(x, indent=2). Ganoon din ang dalawang serializer na magkaiba ang ayos ng key. - Whitespace sa template. Isang trailing space, o
\r\nmula sa isang code path at\nmula sa iba. - Pabagu-bagong listahan ng tools. Binabago ng pagtanggal sa mga tool na hindi magagamit ng isang user ang prefix. Pinapayo ng guide ng OpenAI na panatilihing stable ang mga definition at limitahan ang paggamit gamit ang
tool_choiceo isang allowed-tools setting. - Pag-summarize ng history sa mismong lugar. Nire-reset ng pag-rewrite ng mga lumang turn bilang buod ang lahat ng kasunod ng system prompt. Bihira at malakihang hakbang lang dapat mag-summarize.
- Retrieval bago ang mga instruction. Iba-iba kada query ang mga RAG snippet na nakalagay sa pagitan ng system prompt at tools, at sinisira rin nila ang layer ng tools.
Paano bumuo ng cache-friendly na request sa code?
Gawing function ng mga stable na input lang ang bawat layer, at i-serialize nang deterministic:
import json, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
SYSTEM = open("prompts/system.md").read() # versioned file, no templating
def stable_tools(registry: dict) -> list:
# Sort by name, sort keys inside each schema.
return [json.loads(json.dumps(registry[name], sort_keys=True)) for name in sorted(registry)]
def docs_block(paths: list[str]) -> str:
parts = [f"=== {p} ===\n{open(p).read()}" for p in sorted(paths)]
return "\n\n".join(parts)
def build_messages(history: list, user_text: str, now_iso: str, doc_paths: list[str]):
return (
[{"role": "system", "content": SYSTEM},
{"role": "user", "content": docs_block(doc_paths)}]
+ history # append-only
+ [{"role": "user", "content": f"(now: {now_iso})\n{user_text}"}]
)
resp = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
messages=build_messages(history, question, now_iso, files),
tools=stable_tools(TOOLS),
)
history += [{"role": "user", "content": question}, resp.choices[0].message.model_dump(exclude_none=True)]
Dalawang detalye. Nasa huling mensahe ang kasalukuyang oras, hindi sa system prompt. At iniimbak ng history ang assistant message nang eksakto kung paano ito ibinalik, kaya magkaparehong byte ang ipapadala ulit ng susunod na call.
Paano patunayang naka-cache ang prefix?
Magpatakbo ng two-call na test sa CI o sa isang notebook:
- Bumuo ng request gamit ang totoong system prompt, tools at mga dokumento mo.
- Ipadala ito. Itala ang
usage.prompt_tokens. - Baguhin lang ang huling user message at ipadala ulit.
- Basahin ang
usage.prompt_tokens_details.cached_tokenssa pangalawang call. Dapat sakop nito ang halos buong shared na prefix. - Kung zero o maliit ito, i-diff ang mga naka-serialize na request body byte por byte. Ang unang pagkakaiba ang sumisira sa cache mo.
Best-effort ang caching sa karamihan ng provider, at diretsahan itong sinasabi ng docs ng DeepSeek, kaya hindi patunay ng bug ang iisang miss. Ang tuloy-tuloy na miss ang patunay. Subaybayan ang ratio ng cached sa prompt token kada request sa usage logs mo, at gamitin ang prompt caching calculator para makita kung magkano ang natitipid ng mas mataas na hit rate.
Paano ito nagbabago para sa mga agent at mahabang context?
Pinakamalaki ang pakinabang ng mga agent dahil ipinapadala nila ulit ang parehong malaking prefix nang dose-dosenang beses kada task. Dalawang gawi ang mahalaga:
- Isang usapan kada task. Itinatapon ang prefix kapag nagsisimula ng bagong usapan para sa bawat sub-step.
- Basahin ang mga file nang isang beses, malapit sa itaas. Kung binabasa ulit ng agent ang isang file, idugtong ang bagong kopya imbes na palitan ang luma, maliban kung nagbago ang file.
Sa isang 1M-token na context window, kayang hawakan ng layer 3 ang buong repository. Abot-kaya iyon sa isang per-token na key kapag naka-cache lang, kaya habang lumalaki ang mga prompt, lalong nagiging mahalaga ang ayos ng mga layer. Kadalasan, pinapaikli rin ng mga naka-cache na prefix ang time to first token; tingnan ang TTFT vs throughput.
Saan pumapasok ang BroadNet Inference
Sa BroadNet Inference, iniuulat ng usage block ang prompt_tokens_details.cached_tokens kapag iniuulat ito ng model, at sinisingil ang cached input sa DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B sa mas mababang rate na nakalista sa pricing page. Walang iniaalok ang BroadNet na tahasang cache breakpoint o cache key parameter sa docs nito, kaya ang layout sa itaas na ang buong teknik. Sa isang unlimited na plan, hindi binabago ng cache ang bill, dahil walang token meter ang mga session, pero nakakatulong pa rin sa latency ang parehong istruktura.
