BroadRouter

Paano ayusin ang prompt para ma-cache ang prefix

Ng BroadNet Inference team · 4 minutong basa · Nailathala · Na-update

Ayusin ang bawat request mula sa pinaka-stable hanggang sa pinakamadalas magbago: system prompt, tool definitions, reference na dokumento, history ng usapan, at huli ang bagong mensahe. Gawing byte-identical ang bawat layer sa bawat call: walang timestamp o ID sa itaas, naka-sort ang tools, deterministic ang serialization ng JSON, at dinudugtungan lang ang history. Pagkatapos, sukatin ang cached_tokens para makumpirmang talagang nagagamit ulit ang prefix.

Mura ang cached input token, at sa BroadNet Inference, sinisingil ito ng DeepSeek V4.1 Flash sa $0.0055 kada 1M imbes na $0.175. Sinasaklaw ng paliwanag sa cached token ang presyo at kung paano basahin ang usage field. Tungkol naman sa disenyo ang post na ito: paano ilatag ang prompt para talagang tumama ang cache, at paano ito patunayan.

Bakit ang ayos ng prompt ang nagdedesisyon sa cache hit rate?

Kada prefix nagca-cache ang bawat malaking provider. Sinasabi ng guide ng OpenAI na para magamit ulit, dapat tumugma ang buong rendered prefix. Parehong patakaran ang inilalarawan ng docs ng DeepSeek: tatama lang ang request kung buo itong tumutugma sa isang naka-store na prefix, at hindi tatama ang lumilihis sa kalagitnaan. Binubuo ng Anthropic ang cache nito sa ayos na tools, system, messages.

Sa ilalim nito, ginagamit ulit ng server ang KV cache na binuo nito para sa prefix na iyon. Kaya tuwid na linya ang cache mula sa unang token. Ang unang byte na naiiba sa nakaraang call ang nagtatapos sa bahaging magagamit ulit. Ang isang linyang timestamp sa itaas ng 50,000-token na prompt ay magpapabayad sa iyo ng lahat ng 50,000 token sa buong presyo.

Ano ang tamang ayos ng mga layer?

Layer Nagbabago Halimbawa Patakaran
1. System prompt Kada deploy Role, patakaran, format ng output Walang petsa, ID, pangalan ng user
2. Tool definitions Kada deploy Function schema Naka-sort, deterministic na JSON
3. Reference na materyal Kada session o task File ng repo, kontrata, product docs Fixed na ayos, stable na label
4. History ng usapan Kada turn, append-only Mga naunang user at assistant turn Huwag i-edit; dagdagan lang
5. Bagong mensahe Bawat call Ang tanong, dagdag ang kasalukuyang oras kung kailangan Dito ang pabagu-bagong data

Sa layer 5 nabibilang ang anumang pabagu-bago: ang kasalukuyang petsa, ang locale ng user, isang request ID, mga retrieved na snippet na iba-iba kada tanong.

Ano ang sumisira sa prefix nang hindi mo napapansin?

  1. Ayos ng dictionary. Madalas binubuo ng mga framework ang tools array mula sa isang dict o registry. Kapag iba ang ayos ng pag-load ng mga plugin, nagbabago ang mga byte.
  2. Format ng JSON. Magkaibang prefix ang json.dumps(x) at json.dumps(x, indent=2). Ganoon din ang dalawang serializer na magkaiba ang ayos ng key.
  3. Whitespace sa template. Isang trailing space, o \r\n mula sa isang code path at \n mula sa iba.
  4. Pabagu-bagong listahan ng tools. Binabago ng pagtanggal sa mga tool na hindi magagamit ng isang user ang prefix. Pinapayo ng guide ng OpenAI na panatilihing stable ang mga definition at limitahan ang paggamit gamit ang tool_choice o isang allowed-tools setting.
  5. Pag-summarize ng history sa mismong lugar. Nire-reset ng pag-rewrite ng mga lumang turn bilang buod ang lahat ng kasunod ng system prompt. Bihira at malakihang hakbang lang dapat mag-summarize.
  6. Retrieval bago ang mga instruction. Iba-iba kada query ang mga RAG snippet na nakalagay sa pagitan ng system prompt at tools, at sinisira rin nila ang layer ng tools.

Paano bumuo ng cache-friendly na request sa code?

Gawing function ng mga stable na input lang ang bawat layer, at i-serialize nang deterministic:

import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

SYSTEM = open("prompts/system.md").read()  # versioned file, no templating

def stable_tools(registry: dict) -> list:
    # Sort by name, sort keys inside each schema.
    return [json.loads(json.dumps(registry[name], sort_keys=True)) for name in sorted(registry)]

def docs_block(paths: list[str]) -> str:
    parts = [f"=== {p} ===\n{open(p).read()}" for p in sorted(paths)]
    return "\n\n".join(parts)

def build_messages(history: list, user_text: str, now_iso: str, doc_paths: list[str]):
    return (
        [{"role": "system", "content": SYSTEM},
         {"role": "user", "content": docs_block(doc_paths)}]
        + history                                   # append-only
        + [{"role": "user", "content": f"(now: {now_iso})\n{user_text}"}]
    )

resp = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=build_messages(history, question, now_iso, files),
    tools=stable_tools(TOOLS),
)
history += [{"role": "user", "content": question}, resp.choices[0].message.model_dump(exclude_none=True)]

Dalawang detalye. Nasa huling mensahe ang kasalukuyang oras, hindi sa system prompt. At iniimbak ng history ang assistant message nang eksakto kung paano ito ibinalik, kaya magkaparehong byte ang ipapadala ulit ng susunod na call.

Paano patunayang naka-cache ang prefix?

Magpatakbo ng two-call na test sa CI o sa isang notebook:

  1. Bumuo ng request gamit ang totoong system prompt, tools at mga dokumento mo.
  2. Ipadala ito. Itala ang usage.prompt_tokens.
  3. Baguhin lang ang huling user message at ipadala ulit.
  4. Basahin ang usage.prompt_tokens_details.cached_tokens sa pangalawang call. Dapat sakop nito ang halos buong shared na prefix.
  5. Kung zero o maliit ito, i-diff ang mga naka-serialize na request body byte por byte. Ang unang pagkakaiba ang sumisira sa cache mo.

Best-effort ang caching sa karamihan ng provider, at diretsahan itong sinasabi ng docs ng DeepSeek, kaya hindi patunay ng bug ang iisang miss. Ang tuloy-tuloy na miss ang patunay. Subaybayan ang ratio ng cached sa prompt token kada request sa usage logs mo, at gamitin ang prompt caching calculator para makita kung magkano ang natitipid ng mas mataas na hit rate.

Paano ito nagbabago para sa mga agent at mahabang context?

Pinakamalaki ang pakinabang ng mga agent dahil ipinapadala nila ulit ang parehong malaking prefix nang dose-dosenang beses kada task. Dalawang gawi ang mahalaga:

  • Isang usapan kada task. Itinatapon ang prefix kapag nagsisimula ng bagong usapan para sa bawat sub-step.
  • Basahin ang mga file nang isang beses, malapit sa itaas. Kung binabasa ulit ng agent ang isang file, idugtong ang bagong kopya imbes na palitan ang luma, maliban kung nagbago ang file.

Sa isang 1M-token na context window, kayang hawakan ng layer 3 ang buong repository. Abot-kaya iyon sa isang per-token na key kapag naka-cache lang, kaya habang lumalaki ang mga prompt, lalong nagiging mahalaga ang ayos ng mga layer. Kadalasan, pinapaikli rin ng mga naka-cache na prefix ang time to first token; tingnan ang TTFT vs throughput.

Saan pumapasok ang BroadNet Inference

Sa BroadNet Inference, iniuulat ng usage block ang prompt_tokens_details.cached_tokens kapag iniuulat ito ng model, at sinisingil ang cached input sa DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B sa mas mababang rate na nakalista sa pricing page. Walang iniaalok ang BroadNet na tahasang cache breakpoint o cache key parameter sa docs nito, kaya ang layout sa itaas na ang buong teknik. Sa isang unlimited na plan, hindi binabago ng cache ang bill, dahil walang token meter ang mga session, pero nakakatulong pa rin sa latency ang parehong istruktura.

Mga tanong

Bakit mababa ang prompt cache hit rate ko?

May nagbabago malapit sa simula ng prompt sa bawat call. Ang karaniwang sanhi ay timestamp o request ID sa system prompt, tools na naka-serialize sa ibang ayos, mga retrieved na dokumento na nasa unahan ng mga instruction, o history na sinu-summarize at nire-rewrite.

Dapat bang nasa unahan o hulihan ng mahahabang dokumento ang tanong ng user?

Sa hulihan. Unahin ang mga dokumento at ilagay sa huli ang tanong. Sa ganoon, nagiging prefix na magagamit ulit ang mga dokumento, at mas mahusay ding sumagot ang maraming model kapag kasunod ng materyal ang tanong.

Sinisira ba ng tool definitions ang prompt caching?

Kung nagbabago lang sila. Bahagi ng prefix ang tools, kaya panatilihin ang parehong set sa parehong ayos at parehong JSON. Para limitahan ang tools sa isang call, gamitin ang tool_choice imbes na baguhin ang listahan.

Mahalaga ba ang ayos ng few-shot example para sa caching?

Oo. Ibang prefix ang nabubuo sa bawat pagkakataon kapag binabalasa ang mga example. I-fix ang ayos, o ilagay pagkatapos ng stable na bahagi ang mga example na nagbabago kada request.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity