---
title: "Context management ng long-running LLM agent | BroadRouter"
description: "Paano panatilihing tumpak at abot-kaya ang mahabang agent session sa 1M-token window: append-only na history, prompt na cache-friendly, kailan mag-compact."
url: https://broadrouter.com/fil/blog/long-running-agent-context-management/
lang: fil
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/blog/long-running-agent-context-management/) (na-update noong 2026-11-16).

# Context management ng long-running agent na may 1M window

Ng BroadNet Inference team · 6 minutong basa · Nailathala 2026-11-14 · Na-update 2026-11-16

Ituring ang context na append-only na log: nauuna ang fixed na system prompt at listahan ng tools, kasunod ang history na lumalaki lang, para magamit ulit ng bawat turn ang naka-cache na prefix. Sa 1,048,576-token na window, gaya ng sa DeepSeek V4.1 Flash, bihira at malakihan ang pag-compact, unahing bawasan ang malalaking tool output, at itago ang mahahalagang fact sa maikling notes file na binabasa ulit ng agent.

## Mga pangunahing punto

-   Ipinagpapaliban lang ng malaking window ang problema sa context; hindi nito inaalis. Planuhin kung ano ang mangyayari malapit sa limit.
-   Pinapanatiling stable ng append-only na history ang prefix ng prompt, kaya nananatiling mura ang cached input.
-   Bawat pag-rewrite ng naunang history ay sinisira ang cache mula sa puntong iyon.
-   Bawasan muna ang malalaking tool output (log, file dump) bago ang reasoning at mga desisyon.
-   Bihira at malakihan ang pag-compact, at magtago ng maikling notes file ng mga fact na dapat manatili.

**Sa page na ito**

1.  Ano ang naibibigay ng 1M-token na window sa long-running agent?
2.  Rule 1: bakit dapat append-only ang history?
3.  Rule 2: paano sukatin ang cache rate?
4.  Rule 3: ano ang unang tatanggalin kapag lumalaki ang context?
5.  Rule 4: kailan dapat mag-compact ng history ang agent?
6.  Rule 5: ano ang dapat ilagay sa notes file?
7.  Paano naaapektuhan ng reasoning token ang budget?
8.  Mahalaga ba ito sa flat na plan?
9.  Checklist ng context management

Ang coding agent na nagtatrabaho nang isang buong hapon ay nag-iipon ng maraming history: mga file na binasa, command na pinatakbo, test output, plano at pagwawasto. Ipinapadala ulit ang lahat ng iyon sa model sa bawat turn. Kung paano mo i-manage ang lumalaking context na iyon ang nagpapasya ng tatlong bagay nang sabay: ang gastos ng bawat turn, gaano kabilis ito sumagot, at kung naaalala pa ng agent ang ginagawa nito.

Binabago ng 1M-token na window ang mga trade-off. Hindi nito inaalis ang mga ito.

## Ano ang naibibigay ng 1M-token na window sa long-running agent?

Sa BroadNet Inference, tumatanggap ang [DeepSeek V4.1 Flash](https://broadrouter.com/fil/models/deepseek-v4.1-flash/) at [GLM 5.3](https://broadrouter.com/fil/models/glm-5.3/) ng hanggang 1,048,576 token kada request, prompt at sagot nang magkasama. 262,144 naman ang sa [Qwen3.8 27B](https://broadrouter.com/fil/models/qwen3.8-27b/). Sa mas maliliit na window, kailangang mag-summarise ng agent pagkatapos ng isa o dalawang oras na trabaho. Sa isang milyong token, kadalasang kaya nitong itago ang buong raw na history ng session at mag-compact lang malapit sa dulo ng napakahabang run.

Totoong bentahe iyan: lossy ang mga summary, at bawat summary ay pagkakataong makalimutan ang iisang detalyeng mahalaga. Pero may tatlong gastos na lumalaki pa rin kasabay ng prompt:

-   **Pera**, sa per-token na key, dahil ipinapadala ulit ng bawat turn ang buong prompt.
-   **Latency**, dahil kailangang i-process ng server ang bawat input token bago ang unang output token.
-   **Atensyon.** Puwedeng bumaba ang kalidad habang lumalaki ang input, isang epektong tinatawag na [context rot](https://broadrouter.com/fil/glossary/context-rot/). Natuklasan ng paper na [“Lost in the Middle”](https://arxiv.org/abs/2307.03172) na mas maaasahang nagagamit ng mga model ang impormasyon sa simula at dulo ng mahabang input kaysa sa nasa gitna. Mas mahusay na ang mga bagong model, pero sulit pa rin ang gawing ilagay ang mahahalagang fact malapit sa mga gilid.

## Rule 1: bakit dapat append-only ang history?

Tumutugma ang prompt caching mula sa simula ng prompt. Kung kapareho ng nakaraang turn ang unang 300,000 token ng turn na ito, puwede silang i-serve mula sa cache; tinatapos ng unang nagbagong token ang pagtutugma. Iniuulat ito ng API ng BroadNet sa `usage.prompt_tokens_details.cached_tokens` kapag iniuulat ito ng model, at mas mababa ang singil sa cached input: $0.0055 kada 1M token sa DeepSeek V4.1 Flash, kumpara sa $0.175 para sa bagong input.

Kaya ayusin ang bawat request sa parehong pagkakasunod-sunod at sa dulo lang palaging magdagdag:

```text
[ system prompt ]        never changes during a session
[ tool definitions ]     fixed order, never changes
[ project notes ]        changes rarely, and only by appending
[ turn 1 ... turn N ]    grows at the end
[ new message ]
```

Ang karaniwang sumisira sa prefix ay timestamp sa system prompt, tool definitions na pabago-bago ang ayos, at pag-re-render ng lumang tool result. Para sa mga agent, may isa pa: “sliding window” na pagbabawas na nagtatanggal ng pinakalumang turn tuwing turn, kaya nauusog ang lahat ng kasunod nito. Ginagawang bagong prompt ng bawat isa sa mga iyan ang naka-cache na prompt; nasa [prompt structure para sa caching](https://broadrouter.com/fil/blog/prompt-structure-for-caching/) ang iba pa, kasama ang test na nagpapatunay na naka-cache ang prefix. Malaki ang diperensya sa mahabang session: puwedeng cached input ang karamihan ng prompt sa halip na bagong input. [Paano sinisingil ang cached input](https://broadrouter.com/fil/blog/cached-input-tokens-explained/).

## Rule 2: paano sukatin ang cache rate?

I-log ito kada request. Sa OpenAI SDK, tatlong linya pagkatapos ng call ang gagawa nito:

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

resp = client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=history, max_tokens=8000)
u = resp.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"turn prompt={u.prompt_tokens:,} cached={cached:,} ({cached / max(1, u.prompt_tokens):.0%})")
```

Ang maayos na append-only na agent ay may mataas na cached share sa bawat turn pagkatapos ng una. Kapag biglang bumagsak ito malapit sa zero, may nagbago sa simula ng prompt. Hanapin ito at i-pin. Ginagawang pera kada session ng [prompt caching calculator](https://broadrouter.com/tools/prompt-caching-calculator/) ang cache rate.

## Rule 3: ano ang unang tatanggalin kapag lumalaki ang context?

Kapag kailangan talagang paliitin ang context, mahalaga kung ano ang tatanggalin mo. Sa karamihan ng transcript ng agent, tool output ang pinakamalaking bahagi: isang 4,000-line na test log, buong file na binasa para lang hanapin ang isang function, isang directory listing. Maliit lang ang mahalagang bahagi: ang plano, ang mga desisyon at ang dahilan, ang mga error na naayos.

Pagkakasunod-sunod ng tatanggalin, mula una hanggang huli:

1.  **Lumang tool output.** Palitan ang laman ng lumang tool result ng one-line na stub: “ran pytest: 3 failures in test\_api.py (fixed in turn 14)”.
2.  **Napalitang laman ng file.** Kung binasa ng agent ang `api.py`, in-edit ito, saka binasa ulit, patay na bigat na ang unang pagbasa.
3.  **Explorasyong walang kinahinatnan.** Mga search at pagbasa na hindi humantong sa pagbabago.
4.  **Reasoning at mga plano.** Ito ang pinakamatagal na itago. Ipinapaliwanag nito kung bakit ganoon ang itsura ng code.

Mas maganda pa kung puputulin ang tool output sa mismong sandaling ginawa ito. Lagyan ng cap ang bawat tool result (halimbawa, ang huling 200 linya ng log kasama ang bilang ng linya) at hayaang humingi pa ang agent kung kailangan. Napapanatili nitong append-only at maliit ang history.

## Rule 4: kailan dapat mag-compact ng history ang agent?

Ang compaction (pag-summarise ng mas lumang history sa mas maikling block) ang mabigat na kasangkapan. Nire-rewrite nito ang prefix, kaya ang turn pagkatapos ng compaction ay nagbabayad ng buong presyo ng input para sa lahat ng nasa likod ng system prompt. Kung kaunti-kaunting mag-compact tuwing ilang turn, paulit-ulit mong binabayaran ang presyong iyon.

Mas mabuti:

-   **Pumili ng mataas na threshold.** Sa 1M window, ang pag-compact kapag, halimbawa, 60–70% na ang puno ay nag-iiwan ng espasyo para sa summary turn at mahabang buntot ng bagong trabaho.
-   **Panatilihing verbatim ang recent na buntot.** I-summarise ang lumang bahagi at iwanang buo ang huling mga turn. Inilalarawan ito ng [compaction docs](https://opencode.ai/docs/compaction/) ng opencode: sina-summarise nito ang usapan at iniiwan ang pinakabagong bahagi, mga 15,000 token sa default.
-   **Mag-summarise gamit ang buong prompt.** Kapag ipinadala ang buong usapan sa summary request, magagamit nito ulit ang cache mula sa nakaraang turn.
-   **Mag-compact nang isang beses, saka mag-append ulit.** Pagkatapos ng compaction, stable ang bagong prefix, at doon magpapatuloy ang caching.

## Rule 5: ano ang dapat ilagay sa notes file?

May mga fact na dapat makaligtas sa kahit ilang compaction: ang layunin, ang mga limitasyon, ang mga desisyong nagawa, ang mga command na nagbi-build at nagte-test ng project. Itago ang mga ito sa maikling notes file (isang `NOTES.md` o task file) na dinadagdagan at binabasa ulit ng agent. Malapit ito sa itaas ng prompt, bihirang magbago, at ito ang unang binabasa ng bagong session kapag nag-restart ang run.

Ito rin ang pinakamurang anyo ng memory: ilang libong token na nagliligtas sa agent mula sa muling pagtuklas ng parehong mga fact pagkatapos ng bawat summary.

## Paano naaapektuhan ng reasoning token ang budget?

Nagre-reason muna ang DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B bago sumagot, at kasama ang reasoning sa `max_tokens`. Hindi iyon binabago ng mahabang session, pero tinutukso ng malalaking prompt ang mga tao na babaan ang `max_tokens` para “makatipid ng espasyo”. Huwag. Ang masikip na output budget ay nagbubunga ng walang lamang sagot, na ire-retry naman ng agent. [Bakit walang laman ang mga sagot](https://broadrouter.com/fil/guides/reasoning-tokens-empty-response/).

Tandaan din na magkasamang binibilang ng window ang prompt at sagot. Kapag malapit na sa 1,048,576 token ang prompt, wala nang espasyo para sumagot. Mag-compact bago umabot doon; ipinapakita ng [context window calculator](https://broadrouter.com/tools/context-window-calculator/) kung gaano kalaking espasyo ang iniiwan ng isang prompt.

## Mahalaga ba ito sa flat na plan?

Sa plan session ng BroadNet, walang token meter ang DeepSeek V4.1 Flash: $60 kada buwan ang isang Full Moon session gaano man kahaba ang mga prompt. Nawawala ang argumento tungkol sa pera para sa caching. Hindi nawawala ang dalawa pa. Karaniwang mas mabilis i-process ang naka-cache na prefix sa maraming serving system, at mas magaganda ang sagot kapag maayos ang context. Pareho ang mga gawi; ang dahilan lang ang nagbabago. [Paano gumagana ang plan session](https://broadrouter.com/fil/guides/unlimited-llm-api-sessions/).

## Checklist ng context management

-   Fixed ang system prompt at listahan ng tools sa buong session.
-   Ina-append lang ang history; hindi kailanman nire-reformat ang lumang turn.
-   Naka-log ang cache rate kada request.
-   May cap ang tool output pagkagawa nito; ginagawang stub ang lumang output pagkatapos.
-   Compaction sa mataas na threshold, verbatim ang recent na buntot.
-   Notes file na may layunin, limitasyon at mga desisyon.
-   Sapat ang laki ng output budget para sa reasoning.

Para sa higit pa tungkol sa kung kailan talaga sulit gamitin ang isang milyong token na window, tingnan ang [gabay sa 1M context window](https://broadrouter.com/fil/blog/million-token-context-window-guide/). Para sa pagpapahinto ng mga session na lumalaki pero hindi umuusad, tingnan ang [cost control sa agent loop](https://broadrouter.com/fil/blog/cut-coding-agent-llm-costs/).

Mga libreng tool para rito (Ingles)

-   [Agent run cost estimator](https://broadrouter.com/tools/agent-run-cost-estimator/) Context growth per step, total tokens and cost of one agent run, with a DeepSeek session comparison.
-   [LLM batch job planner](https://broadrouter.com/tools/llm-batch-job-planner/) Run time, binding limit, cost per model and the flat sessions needed to finish a big job by a deadline.
-   [Flat-rate vs per-token LLM cost calculator](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) Break-even between an unlimited plan and paying per token, per agent.
-   [LLM rate limit and concurrency calculator](https://broadrouter.com/tools/llm-rate-limit-calculator/) Which limit binds first: RPM, TPM or concurrency, with Little's law.

[Libreng tools (Ingles)](https://broadrouter.com/tools/)

## Mga termino sa artikulong ito

[AI agent](https://broadrouter.com/fil/glossary/agent/)

Ang AI agent ay isang system kung saan ang language model mismo ang nagdidirekta ng mga hakbang nito tungo sa isang layunin: pinipili nito kung aling tools ang tatawagin, binabasa ang mga resulta at umuulit hanggang makabuo ng huling sagot o maabot ang limit. Workflow naman ang karaniwang tawag sa fixed na script na tumatawag sa model sa takdang punto.

[Token](https://broadrouter.com/fil/glossary/token/)

Ang token ay ang yunit ng text na binabasa at isinusulat ng isang language model: isang salita, bahagi ng salita, bantas o byte sequence na ginawa ng tokenizer ng model. Sa token binibilang, nililimitahan at kadalasang sinisingil ng mga LLM API ang paggamit.

[Context window](https://broadrouter.com/fil/glossary/context-window/)

Ang context window ay ang pinakamaraming token na kayang hawakan ng isang language model sa iisang request. Sakop nito ang prompt, history ng usapan, tool definitions, mga larawan at ang nabuong output, kasama ang anumang reasoning tokens. Ang hindi kasya ay kailangang bawasan, ibuod o hatiin sa ilang request.

[Context compaction](https://broadrouter.com/fil/glossary/context-compaction/)

Ang context compaction ay ang pagbubuod ng usapang malapit nang maabot ang limit ng context window at pagtutuloy ng session mula sa buod na iyon, para mapanatili ng agent ang mahahalagang desisyon at state habang tinatanggal ang raw na history gaya ng lumang tool output.

[Cached input token (cached input tokens)](https://broadrouter.com/fil/glossary/cached-input-tokens/)

Ang cached input token ay prompt token na kamakailan lang naproseso ng LLM provider at magagamit ulit mula sa cache sa halip na kuwentahin muli, kadalasang paulit-ulit na prefix gaya ng system prompt o dokumento. Mas mababa ang singil dito kaysa sa bagong input token.

[System prompt](https://broadrouter.com/fil/glossary/system-prompt/)

Ang system prompt ay ang instruction na ipinapadala ng isang application sa language model bago ang usapan, kadalasan bilang mensaheng may system o developer role. Itinatakda nito ang role, mga patakaran, tono at format ng output ng model, at dapat itong sundin ng model kahit salungat ang mensahe ng user.

[Tool calling (function calling)](https://broadrouter.com/fil/glossary/tool-calling/)

Ang tool calling, tinatawag ding function calling, ay feature ng LLM API kung saan nagbabalik ang model ng structured na request para magpatakbo ng function na tinukoy ng developer, kasama ang JSON arguments. Ang application ang nagpapatakbo ng function at nagpapadala pabalik ng resulta; hindi kailanman nagpapatakbo ng code ang model mismo.

[Input at output token (input and output tokens)](https://broadrouter.com/fil/glossary/input-and-output-tokens/)

Ang input token ay ang mga token na binabasa ng language model sa isang request, kasama ang system prompt, history ng usapan, tool definitions at mga larawan. Ang output token ay ang mga token na binubuo nito bilang sagot, kasama ang anumang reasoning. Kadalasang magkahiwalay ang presyo ng dalawa, at mas mahal ang output.

## Mga tanong

### Kung 1M ang window ng model, bakit pa kailangang i-manage ang context?

Dahil nagbabago ang gastos, latency at accuracy habang lumalaki ang prompt. Mas matagal i-process ang mahahabang prompt, mas mahal kada turn sa per-token na key, at ipinapakita ng pananaliksik na hindi gaanong maaasahang nagagamit ng mga model ang impormasyon sa gitna ng mahahabang input.

### Paano ko malalaman kung tumatama sa cache ang agent ko?

Kapag iniuulat ito ng model, may prompt\_tokens\_details.cached\_tokens ang usage block. Hatiin ito sa prompt\_tokens sa bawat request at i-log ang rate.

### Mahalaga pa ba ang compaction sa flat na plan?

Hindi para sa bill, dahil walang token meter ang plan session. Pero mahalaga pa rin ito para sa bilis at sa kalidad ng sagot sa napakahahabang session.

## Magbasa pa

-   [Kailan sulit ang 1M-token na context window (at kailan hindi)](https://broadrouter.com/fil/blog/million-token-context-window-guide/)
-   [Cached input token: paano nito binabawasan ang LLM API bill mo](https://broadrouter.com/fil/blog/cached-input-tokens-explained/)
-   [10 paraan para bawasan ang gastos sa LLM ng coding agent, may tantiya](https://broadrouter.com/fil/blog/cut-coding-agent-llm-costs/)
-   [Paano patakbuhin nang ligtas ang coding agent nang magdamag](https://broadrouter.com/fil/blog/overnight-coding-agent-runs/)
-   [Magkano ang isang run ng AI coding agent: hakbang, context, caching](https://broadrouter.com/fil/blog/ai-coding-agent-run-cost/)
-   [Claude Code sa open model: proxy, native endpoint at mga limit](https://broadrouter.com/fil/blog/claude-code-with-openai-compatible-models/)
-   [Gabay: Paano mag-stream ng chat completions at ayusin ang naputol na stream](https://broadrouter.com/fil/guides/streaming-chat-completions/)
-   [Gabay: Bakit walang laman ang sagot ng isang reasoning model](https://broadrouter.com/fil/guides/reasoning-tokens-empty-response/)
-   [Gabay: Paano gumagana ang unlimited LLM API plans para sa mga agent](https://broadrouter.com/fil/guides/unlimited-llm-api-sessions/)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-blog-long-running-agent-context-management&utm_content=page-cta) ·

**Mga source**

-   [API reference ng BroadNet Inference, reasoning at cached token (Ingles)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-blog-long-running-agent-context-management&utm_content=sources)
-   [Liu et al., Lost in the Middle: How Language Models Use Long Contexts (arXiv)](https://arxiv.org/abs/2307.03172)
-   [Docs ng opencode, compaction](https://opencode.ai/docs/compaction/)
