BroadRouter
Magsimula

Context engineering

Na-update

Ang context engineering ay ang trabaho ng pagpili at pag-maintain ng set ng mga token na nakikita ng language model sa bawat request, kasama ang system prompt, tool definitions, history, mga retrieved na dokumento at notes, para matanggap ng model ang pinakamaliit na set ng high-signal na impormasyong kailangan nito para magawa nang maayos ang task.

Tinatawag ding: context management, agent context engineering, pag-manage ng context, pamamahala ng context

Isang beses mo lang isinusulat ang prompt. Ang context ay lahat ng nakikita ng model sa bawat turn, at sa isang agent, nagbabago ito kada turn.

Paano ito gumagana

Inilalarawan ng engineering post ng Anthropic ang context engineering bilang “the set of strategies for curating and maintaining the optimal set of tokens” (Salin ng BroadRouter: “ang set ng mga diskarte para piliin at i-maintain ang pinakaangkop na set ng mga token”) habang nag-i-inference, kasama ang impormasyong lampas sa prompt. Ang layunin daw ay hanapin ang “smallest possible set of high-signal tokens” (Salin ng BroadRouter: “pinakamaliit na posibleng set ng high-signal na token”) na nagpapalaki ng tsansang makuha ang gustong resulta.

Ang dahilan ay limitado ang attention. Sabi ng post, may “attention budget” ang mga model, at bumababa ang recall habang lumalaki ang context, na tinatawag nitong context rot. Mahalaga rin ang posisyon: mas madaling makaligtaan ang mga fact sa gitna ng mahabang prompt (lost in the middle).

Ilang technique para sa mga long-running agent ang binanggit ng post:

Technique Ano ang ginagawa nito
Compaction I-summarize ang history kapag malapit na sa limit at magpatuloy mula sa summary
Tool result clearing Tanggalin sa history ang mga lumang raw tool output
Structured note-taking Nagsusulat ang agent ng notes sa isang file sa labas ng context at binabasa ulit ang mga ito mamaya
Subagents Gawin ang nakatutok na trabaho sa malinis na context at magbalik ng maikling summary
Just-in-time retrieval Mag-imbak ng mga reference (file path, query) at i-load lang ang data kapag kailangan

Halimbawa ng budget ng isang turn sa isang coding agent:

System prompt + rules          4,000 tokens
Tool definitions               6,000 tokens
Notes file                     1,500 tokens
History (compacted)           20,000 tokens
Latest tool output             8,000 tokens   <- largest single item

Bakit ito mahalaga

  • Kalidad. Kapag mas kaunti ang ingay sa context, kadalasang mas maganda ang sagot at mas kaunti ang nakakaligtaang instruction.
  • Gastos. Sa per-token na billing, sinisingil ang bawat token sa context sa bawat turn. Mas mura ang stable na content na nasa unahan bilang cached input; tingnan ang prompt structure para sa caching.
  • Haba ng run. Sa maayos na context management, kayang magtrabaho ng agent nang ilang oras nang hindi tumatama sa context window.

Sa BroadNet Inference

Sa code mo nangyayari ang context engineering: tinatanggap ng Chat Completions API ng BroadNet ang kahit anong message list na ipadala mo. Tumatanggap ang DeepSeek V4.1 Flash at GLM 5.3 ng 1,048,576 token, ang Qwen3.8 27B ng 262,144 at ang Gemma 4 VL 26B ng 32K, kaya pinakamahalaga ang masikip na context sa Gemma.

Kapag iniuulat ito ng model, ipinapakita ng usage.prompt_tokens_details.cached_tokens ang mga token na binasa mula sa cache, na sinisingil sa cached input na presyo sa pay-as-you-go. Nagbibigay ang context management para sa mga long-running agent ng limang praktikal na patakaran, at ipinapakita ng post na agent token budget kung saan napupunta ang mga token ng agent.

Mga tanong

Ano ang pinagkaiba ng context engineering sa prompt engineering?

Ang prompt engineering ay tungkol sa pagsulat ng magandang instruction. Sakop naman ng context engineering ang lahat ng nakikita ng model sa isang turn, kasama ang tool definitions, history at retrieved data, at kung paano nagbabago ang set na iyon sa isang mahabang session.

Bakit hindi na lang gumamit ng mas malaking context window?

Naaantala lang ng mas malaking window ang problema, hindi nito inaalis. Ayon sa Anthropic, bumababa ang recall habang lumalaki ang context, at sa per-token na billing, binabayaran ulit ang bawat dagdag na token sa bawat turn.

Ano ang unang dapat kong subukan?

Sukatin kung ano ang pumupuno sa context mo. Kadalasan, ang tool output at lumang history ang pinakamalalaking bahagi, at mura lang subukang bawasan o i-summarize ang mga ito.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity