---
title: "Pengurusan konteks ejen LLM yang berjalan lama | BroadRouter"
description: "Cara memastikan sesi ejen panjang tepat dan berpatutan dengan tetingkap 1M token: sejarah tambah sahaja, prompt mesra cache, bila memampatkan, apa dibuang dahulu."
url: https://broadrouter.com/ms/blog/long-running-agent-context-management/
lang: ms
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/blog/long-running-agent-context-management/) (dikemas kini 2026-11-16).

# Pengurusan konteks untuk ejen berjalan lama dengan tetingkap 1M

Oleh pasukan BroadNet Inference · 6 minit bacaan · Diterbitkan 2026-11-14 · Dikemas kini 2026-11-16

Anggap konteks sebagai log tambah sahaja: system prompt dan senarai alat yang tetap dahulu, kemudian sejarah yang hanya bertambah, supaya setiap giliran menggunakan semula awalan yang dicache. Dengan tetingkap 1,048,576 token, seperti pada DeepSeek V4.1 Flash, mampatkan jarang-jarang dan secara besar, potong output alat yang besar dahulu, dan simpan fakta penting dalam fail nota pendek yang dibaca semula oleh ejen.

## Perkara utama

-   Tetingkap besar menangguhkan masalah konteks; ia tidak menghapuskannya. Rancang apa yang berlaku apabila hampir mencecah had.
-   Sejarah tambah sahaja memastikan awalan prompt stabil, jadi input cache kekal murah.
-   Setiap kali sejarah awal ditulis semula, cache rosak dari titik itu ke hadapan.
-   Potong output alat yang besar (log, lambakan fail) sebelum memotong penaakulan dan keputusan.
-   Mampatkan jarang-jarang dan secara besar, dan simpan fail nota pendek berisi fakta yang kekal.

**Dalam halaman ini**

1.  Apakah yang diberikan tetingkap 1M token kepada ejen berjalan lama?
2.  Peraturan 1: mengapakah sejarah perlu tambah sahaja?
3.  Peraturan 2: bagaimanakah mengukur kadar cache?
4.  Peraturan 3: apakah yang patut dipotong dahulu apabila konteks membesar?
5.  Peraturan 4: bilakah ejen patut memampatkan sejarahnya?
6.  Peraturan 5: apakah yang patut ada dalam fail nota?
7.  Bagaimanakah token penaakulan menjejaskan bajet?
8.  Adakah ini penting pada pelan kadar rata?
9.  Senarai semak pengurusan konteks

Ejen pengekodan yang bekerja sepanjang petang mengumpul banyak sejarah: fail yang dibaca, arahan yang dijalankan, output ujian, rancangan dan pembetulan. Setiap giliran menghantar semuanya semula kepada model. Cara anda mengurus konteks yang semakin membesar itu menentukan tiga perkara serentak: kos setiap giliran, kelajuan jawapan, dan sama ada ejen masih ingat apa yang sedang dilakukannya.

Tetingkap 1M token mengubah keseimbangan ini. Ia tidak menghapuskannya.

## Apakah yang diberikan tetingkap 1M token kepada ejen berjalan lama?

Pada BroadNet Inference, [DeepSeek V4.1 Flash](https://broadrouter.com/ms/models/deepseek-v4.1-flash/) dan [GLM 5.3](https://broadrouter.com/ms/models/glm-5.3/) menerima sehingga 1,048,576 token setiap permintaan, prompt dan jawapan bersama. [Qwen3.8 27B](https://broadrouter.com/ms/models/qwen3.8-27b/) menerima 262,144. Dengan tetingkap yang lebih kecil, ejen perlu meringkaskan selepas sejam dua bekerja. Dengan sejuta token, ia biasanya boleh menyimpan sejarah mentah satu sesi penuh dan hanya memampatkan menjelang akhir larian yang sangat panjang.

Itu kelebihan sebenar: ringkasan bersifat lossy, dan setiap ringkasan ialah peluang untuk terlupa satu butiran yang penting. Tetapi tiga kos masih membesar bersama prompt:

-   **Wang**, pada kunci per token, kerana setiap giliran menghantar semula seluruh prompt.
-   **Kependaman**, kerana pelayan mesti memproses setiap token input sebelum token output pertama.
-   **Perhatian.** Kualiti boleh menurun apabila input membesar, kesan yang dipanggil [context rot](https://broadrouter.com/ms/glossary/context-rot/). Kertas [“Lost in the Middle”](https://arxiv.org/abs/2307.03172) mendapati model cenderung menggunakan maklumat di awal dan akhir input panjang dengan lebih boleh dipercayai berbanding maklumat di tengah. Model baharu lebih baik, tetapi tabiat meletakkan fakta penting berhampiran tepi masih berbaloi.

## Peraturan 1: mengapakah sejarah perlu tambah sahaja?

Prompt caching memadankan dari permulaan prompt. Jika 300,000 token pertama giliran ini sama dengan giliran sebelumnya, ia boleh disajikan daripada cache; token pertama yang berubah menamatkan padanan. API BroadNet melaporkannya dalam `usage.prompt_tokens_details.cached_tokens` apabila model melaporkannya, dan mengebil input cache pada kadar lebih rendah: $0.0055 setiap 1M token pada DeepSeek V4.1 Flash berbanding $0.175 untuk input baharu.

Jadi susun setiap permintaan dalam urutan yang sama dan hanya tambah di hujung:

```text
[ system prompt ]        never changes during a session
[ tool definitions ]     fixed order, never changes
[ project notes ]        changes rarely, and only by appending
[ turn 1 ... turn N ]    grows at the end
[ new message ]
```

Pemecah awalan yang biasa ialah cap masa dalam system prompt, definisi alat dalam urutan yang tidak stabil, dan memaparkan semula hasil alat lama. Untuk ejen, tambah satu lagi: pemotongan “sliding window” yang membuang giliran paling lama setiap kali, yang menganjakkan semua yang selepasnya. Setiap satu daripadanya menukar prompt yang dicache menjadi prompt baharu; [struktur prompt untuk caching](https://broadrouter.com/ms/blog/prompt-structure-for-caching/) menyenaraikan selebihnya, dengan ujian yang membuktikan awalan dicache. Dalam sesi panjang, perbezaannya besar: sebahagian besar prompt boleh menjadi input cache dan bukannya input baharu. [Cara input cache dibilkan](https://broadrouter.com/ms/blog/cached-input-tokens-explained/).

## Peraturan 2: bagaimanakah mengukur kadar cache?

Log setiap permintaan. Dengan OpenAI SDK, tiga baris selepas panggilan sudah memadai:

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

resp = client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=history, max_tokens=8000)
u = resp.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"turn prompt={u.prompt_tokens:,} cached={cached:,} ({cached / max(1, u.prompt_tokens):.0%})")
```

Ejen tambah sahaja yang sihat menunjukkan bahagian cache yang tinggi pada setiap giliran selepas yang pertama. Penurunan mendadak hampir sifar bermakna sesuatu di awal prompt telah berubah. Cari dan tetapkannya. [Kalkulator prompt caching](https://broadrouter.com/tools/prompt-caching-calculator/) menukar kadar cache kepada wang setiap sesi.

## Peraturan 3: apakah yang patut dipotong dahulu apabila konteks membesar?

Apabila konteks memang perlu dikecilkan, apa yang anda buang penting. Dalam kebanyakan transkrip ejen, bahagian terbesar ialah output alat: log ujian 4,000 baris, seluruh fail yang dibaca untuk mencari satu fungsi, senarai direktori. Bahagian yang bernilai adalah kecil: rancangan, keputusan dan sebabnya, ralat yang telah dibaiki.

Urutan pemotongan, dari pertama hingga terakhir:

1.  **Output alat yang basi.** Gantikan isi hasil alat lama dengan stub satu baris: “ran pytest: 3 failures in test\_api.py (fixed in turn 14)”.
2.  **Kandungan fail yang telah diganti.** Jika ejen membaca `api.py`, menyuntingnya, kemudian membacanya lagi, bacaan pertama hanyalah beban mati.
3.  **Penerokaan yang tidak ke mana-mana.** Carian dan bacaan yang tidak membawa kepada perubahan.
4.  **Penaakulan dan rancangan.** Simpan ini paling lama. Ia menerangkan mengapa kod kelihatan begitu.

Memangkas output alat ketika ia dihasilkan lebih baik lagi. Hadkan setiap hasil alat (contohnya, 200 baris terakhir log berserta kiraan baris) dan biarkan ejen meminta lagi jika perlu. Itu memastikan sejarah tambah sahaja dan kecil.

## Peraturan 4: bilakah ejen patut memampatkan sejarahnya?

Pemampatan (meringkaskan sejarah lama menjadi blok yang lebih pendek) ialah alat berat. Ia menulis semula awalan, jadi giliran selepas pemampatan membayar harga input penuh bagi semua yang selepas system prompt. Memampatkan sedikit setiap beberapa giliran bermakna membayar harga itu berulang kali.

Lebih baik:

-   **Pilih ambang yang tinggi.** Dengan tetingkap 1M, memampatkan pada, katakan, 60–70% penuh memberi ruang untuk giliran ringkasan dan ekor kerja baharu yang panjang.
-   **Kekalkan ekor terkini secara verbatim.** Ringkaskan bahagian lama dan biarkan rangkaian giliran terakhir utuh. [Dokumentasi pemampatan](https://opencode.ai/docs/compaction/) opencode menerangkan ini: ia meringkaskan perbualan dan menyimpan bahagian terkini, kira-kira 15,000 token secara lalai.
-   **Ringkaskan dengan prompt penuh.** Menghantar seluruh perbualan kepada permintaan ringkasan membolehkannya menggunakan semula cache daripada giliran sebelumnya.
-   **Mampatkan sekali, kemudian tambah semula.** Selepas pemampatan, awalan baharu stabil, dan caching bersambung dari situ.

## Peraturan 5: apakah yang patut ada dalam fail nota?

Sesetengah fakta mesti kekal walau berapa kali pun pemampatan berlaku: matlamat, kekangan, keputusan yang telah dibuat, arahan yang membina dan menguji projek. Simpan semuanya dalam fail nota pendek (`NOTES.md` atau fail tugas) yang ditambah dan dibaca semula oleh ejen. Ia terletak berhampiran bahagian atas prompt, jarang berubah, dan ialah perkara pertama yang dibaca sesi baharu jika larian bermula semula.

Ini juga bentuk memori yang paling murah: beberapa ribu token yang menyelamatkan ejen daripada menemui semula fakta yang sama selepas setiap ringkasan.

## Bagaimanakah token penaakulan menjejaskan bajet?

DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B menaakul sebelum menjawab, dan penaakulan dikira dalam `max_tokens`. Sesi panjang tidak mengubahnya, tetapi prompt besar menggoda orang untuk menurunkan `max_tokens` bagi “menjimatkan ruang”. Jangan. Bajet output yang ketat menghasilkan jawapan kosong, yang kemudian dicuba semula oleh ejen. [Mengapa jawapan kembali kosong](https://broadrouter.com/ms/guides/reasoning-tokens-empty-response/).

Ingat juga bahawa tetingkap mengira prompt dan jawapan bersama. Apabila prompt hampir 1,048,576 token, tiada ruang lagi untuk menjawab. Mampatkan sebelum sampai ke situ; [kalkulator tetingkap konteks](https://broadrouter.com/tools/context-window-calculator/) menunjukkan berapa banyak ruang yang ditinggalkan oleh sesuatu prompt.

## Adakah ini penting pada pelan kadar rata?

Pada sesi pelan BroadNet, DeepSeek V4.1 Flash tiada meter token: sesi Full Moon berharga $60 sebulan walau sepanjang mana pun prompt. Hujah wang untuk caching hilang. Dua lagi tidak. Awalan yang dicache biasanya lebih cepat diproses dalam banyak sistem penyajian, dan konteks yang diurus dengan baik memberi jawapan yang lebih baik. Tabiatnya sama; hanya sebabnya berubah. [Cara sesi pelan berfungsi](https://broadrouter.com/ms/guides/unlimited-llm-api-sessions/).

## Senarai semak pengurusan konteks

-   System prompt dan senarai alat tetap sepanjang sesi.
-   Sejarah hanya ditambah; giliran lama tidak sekali-kali diformat semula.
-   Kadar cache dilog setiap permintaan.
-   Output alat dihadkan ketika dihasilkan; output basi dijadikan stub kemudian.
-   Pemampatan pada ambang tinggi, dengan ekor terkini dikekalkan verbatim.
-   Fail nota berisi matlamat, kekangan dan keputusan.
-   Bajet output cukup besar untuk penaakulan.

Untuk mengetahui bila tetingkap sejuta token benar-benar berbaloi digunakan, lihat [panduan tetingkap konteks 1M](https://broadrouter.com/ms/blog/million-token-context-window-guide/). Untuk menghentikan sesi yang membesar tanpa kemajuan, lihat [kawalan kos gelung ejen](https://broadrouter.com/ms/blog/cut-coding-agent-llm-costs/).

Alat percuma untuk topik ini (Bahasa Inggeris)

-   [Agent run cost estimator](https://broadrouter.com/tools/agent-run-cost-estimator/) Context growth per step, total tokens and cost of one agent run, with a DeepSeek session comparison.
-   [LLM batch job planner](https://broadrouter.com/tools/llm-batch-job-planner/) Run time, binding limit, cost per model and the flat sessions needed to finish a big job by a deadline.
-   [Flat-rate vs per-token LLM cost calculator](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) Break-even between an unlimited plan and paying per token, per agent.
-   [LLM rate limit and concurrency calculator](https://broadrouter.com/tools/llm-rate-limit-calculator/) Which limit binds first: RPM, TPM or concurrency, with Little's law.

[Alatan percuma (Bahasa Inggeris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Token](https://broadrouter.com/ms/glossary/token/)

Token ialah unit teks yang dibaca dan ditulis oleh model bahasa: satu perkataan, sebahagian perkataan, tanda baca atau jujukan bait yang dihasilkan oleh tokenizer model itu. API LLM mengira, mengehadkan dan biasanya mengebil penggunaan dalam token.

[Pemampatan konteks (context compaction)](https://broadrouter.com/ms/glossary/context-compaction/)

Pemampatan konteks ialah amalan meringkaskan perbualan yang hampir mencapai had tetingkap konteks dan meneruskan sesi daripada ringkasan itu, supaya ejen mengekalkan keputusan dan keadaan penting sambil membuang sejarah mentah seperti output alatan lama.

[Tetingkap konteks (context window)](https://broadrouter.com/ms/glossary/context-window/)

Tetingkap konteks ialah bilangan maksimum token yang boleh dikendalikan oleh model bahasa dalam satu permintaan. Ia meliputi prompt, sejarah perbualan, definisi alatan, imej dan output yang dijana, termasuk token penaakulan. Apa-apa yang tidak muat mesti dipotong, diringkaskan atau dipecahkan kepada beberapa permintaan.

[Prompt sistem (system prompt)](https://broadrouter.com/ms/glossary/system-prompt/)

Prompt sistem ialah teks arahan yang dihantar oleh aplikasi kepada model bahasa sebelum perbualan, biasanya sebagai mesej dengan peranan system atau developer. Ia menetapkan peranan, peraturan, nada dan format output model, dan model sepatutnya mengutamakannya berbanding mesej pengguna yang bercanggah.

[Baris Arab (tashkeel, Arabic diacritics)](https://broadrouter.com/ms/glossary/arabic-diacritics/)

Baris Arab, atau tashkeel, ialah tanda kecil yang ditulis di atas atau di bawah huruf untuk menunjukkan vokal pendek, konsonan berganda dan ketiadaan vokal. Ia pilihan: kebanyakan teks Arab, termasuk berita, meninggalkannya, jadi pembaca dan perisian meneka vokal daripada konteks.

[Token input cache (cached input tokens)](https://broadrouter.com/ms/glossary/cached-input-tokens/)

Token input cache ialah token prompt yang baru sahaja diproses oleh penyedia LLM dan boleh diguna semula daripada cache tanpa dikira semula, biasanya awalan yang berulang seperti prompt sistem atau dokumen. Penyedia mengebilnya pada kadar lebih rendah daripada token input baharu.

[Lost in the middle (hilang di tengah)](https://broadrouter.com/ms/glossary/lost-in-the-middle/)

Lost in the middle ialah kecenderungan model bahasa yang diperhatikan untuk menggunakan maklumat relevan dengan paling baik apabila ia muncul berhampiran awal atau akhir input panjang, dan paling teruk apabila ia berada di tengah. Ia dinamakan dalam kajian 2023 oleh Liu et al.

[Token input dan output (input and output tokens)](https://broadrouter.com/ms/glossary/input-and-output-tokens/)

Token input ialah token yang dibaca oleh model bahasa dalam satu permintaan, termasuk prompt sistem, sejarah perbualan, definisi alatan dan imej. Token output ialah token yang dijananya sebagai balasan, termasuk sebarang penaakulan. API LLM biasanya meletakkan harga berasingan, dan output biasanya lebih mahal.

## Soalan lazim

### Jika model mempunyai tetingkap 1M, mengapakah konteks perlu diurus?

Kerana kos, kependaman dan ketepatan semuanya berubah apabila prompt membesar. Prompt panjang mengambil masa lebih lama untuk diproses, lebih mahal setiap giliran pada kunci per token, dan kajian menunjukkan model kurang boleh dipercayai menggunakan maklumat di tengah input yang panjang.

### Bagaimanakah saya tahu sama ada ejen saya mengenai cache?

Apabila model melaporkannya, blok usage mengandungi prompt\_tokens\_details.cached\_tokens. Bahagikannya dengan prompt\_tokens bagi setiap permintaan dan log kadarnya.

### Adakah pemampatan penting pada pelan kadar rata?

Bukan untuk bil, kerana sesi pelan tiada meter token. Ia masih penting untuk kelajuan dan kualiti jawapan dalam sesi yang sangat panjang.

## Teruskan membaca

-   [Bila tetingkap konteks 1M token berbaloi (dan bila tidak)](https://broadrouter.com/ms/blog/million-token-context-window-guide/)
-   [Token input cache: cara mengurangkan bil API LLM](https://broadrouter.com/ms/blog/cached-input-tokens-explained/)
-   [10 cara mengurangkan kos LLM ejen pengekodan, dengan anggaran jimat](https://broadrouter.com/ms/blog/cut-coding-agent-llm-costs/)
-   [Menjalankan ejen pengekodan semalaman tanpa pengawasan dengan selamat](https://broadrouter.com/ms/blog/overnight-coding-agent-runs/)
-   [Berapakah kos satu larian ejen pengekodan AI: langkah, konteks, cache](https://broadrouter.com/ms/blog/ai-coding-agent-run-cost/)
-   [Claude Code dengan model terbuka: proksi, endpoint asli dan had](https://broadrouter.com/ms/blog/claude-code-with-openai-compatible-models/)
-   [Panduan: Strim chat completions dan kendalikan sambungan yang terputus](https://broadrouter.com/ms/guides/streaming-chat-completions/)
-   [Panduan: Mengapa model penaakulan memulangkan jawapan kosong](https://broadrouter.com/ms/guides/reasoning-tokens-empty-response/)
-   [Panduan: Cara pelan API LLM tanpa had berfungsi untuk ejen](https://broadrouter.com/ms/guides/unlimited-llm-api-sessions/)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-long-running-agent-context-management&utm_content=page-cta) ·

**Sumber**

-   [Rujukan API BroadNet Inference, token penaakulan dan token cache (Bahasa Inggeris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-long-running-agent-context-management&utm_content=sources)
-   [Liu et al., Lost in the Middle: How Language Models Use Long Contexts (arXiv)](https://arxiv.org/abs/2307.03172)
-   [Dokumentasi opencode, pemampatan (compaction)](https://opencode.ai/docs/compaction/)
