Ejen pengekodan yang bekerja sepanjang petang mengumpul banyak sejarah: fail yang dibaca, arahan yang dijalankan, output ujian, rancangan dan pembetulan. Setiap giliran menghantar semuanya semula kepada model. Cara anda mengurus konteks yang semakin membesar itu menentukan tiga perkara serentak: kos setiap giliran, kelajuan jawapan, dan sama ada ejen masih ingat apa yang sedang dilakukannya.
Tetingkap 1M token mengubah keseimbangan ini. Ia tidak menghapuskannya.
Apakah yang diberikan tetingkap 1M token kepada ejen berjalan lama?
Pada BroadNet Inference, DeepSeek V4.1 Flash dan GLM 5.3 menerima sehingga 1,048,576 token setiap permintaan, prompt dan jawapan bersama. Qwen3.8 27B menerima 262,144. Dengan tetingkap yang lebih kecil, ejen perlu meringkaskan selepas sejam dua bekerja. Dengan sejuta token, ia biasanya boleh menyimpan sejarah mentah satu sesi penuh dan hanya memampatkan menjelang akhir larian yang sangat panjang.
Itu kelebihan sebenar: ringkasan bersifat lossy, dan setiap ringkasan ialah peluang untuk terlupa satu butiran yang penting. Tetapi tiga kos masih membesar bersama prompt:
- Wang, pada kunci per token, kerana setiap giliran menghantar semula seluruh prompt.
- Kependaman, kerana pelayan mesti memproses setiap token input sebelum token output pertama.
- Perhatian. Kualiti boleh menurun apabila input membesar, kesan yang dipanggil context rot. Kertas “Lost in the Middle” mendapati model cenderung menggunakan maklumat di awal dan akhir input panjang dengan lebih boleh dipercayai berbanding maklumat di tengah. Model baharu lebih baik, tetapi tabiat meletakkan fakta penting berhampiran tepi masih berbaloi.
Peraturan 1: mengapakah sejarah perlu tambah sahaja?
Prompt caching memadankan dari permulaan prompt. Jika 300,000 token pertama giliran ini sama dengan giliran sebelumnya, ia boleh disajikan daripada cache; token pertama yang berubah menamatkan padanan. API BroadNet melaporkannya dalam usage.prompt_tokens_details.cached_tokens apabila model melaporkannya, dan mengebil input cache pada kadar lebih rendah: $0.0055 setiap 1M token pada DeepSeek V4.1 Flash berbanding $0.175 untuk input baharu.
Jadi susun setiap permintaan dalam urutan yang sama dan hanya tambah di hujung:
[ system prompt ] never changes during a session
[ tool definitions ] fixed order, never changes
[ project notes ] changes rarely, and only by appending
[ turn 1 ... turn N ] grows at the end
[ new message ]
Pemecah awalan yang biasa ialah cap masa dalam system prompt, definisi alat dalam urutan yang tidak stabil, dan memaparkan semula hasil alat lama. Untuk ejen, tambah satu lagi: pemotongan “sliding window” yang membuang giliran paling lama setiap kali, yang menganjakkan semua yang selepasnya. Setiap satu daripadanya menukar prompt yang dicache menjadi prompt baharu; struktur prompt untuk caching menyenaraikan selebihnya, dengan ujian yang membuktikan awalan dicache. Dalam sesi panjang, perbezaannya besar: sebahagian besar prompt boleh menjadi input cache dan bukannya input baharu. Cara input cache dibilkan.
Peraturan 2: bagaimanakah mengukur kadar cache?
Log setiap permintaan. Dengan OpenAI SDK, tiga baris selepas panggilan sudah memadai:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
resp = client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=history, max_tokens=8000)
u = resp.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"turn prompt={u.prompt_tokens:,} cached={cached:,} ({cached / max(1, u.prompt_tokens):.0%})")
Ejen tambah sahaja yang sihat menunjukkan bahagian cache yang tinggi pada setiap giliran selepas yang pertama. Penurunan mendadak hampir sifar bermakna sesuatu di awal prompt telah berubah. Cari dan tetapkannya. Kalkulator prompt caching menukar kadar cache kepada wang setiap sesi.
Peraturan 3: apakah yang patut dipotong dahulu apabila konteks membesar?
Apabila konteks memang perlu dikecilkan, apa yang anda buang penting. Dalam kebanyakan transkrip ejen, bahagian terbesar ialah output alat: log ujian 4,000 baris, seluruh fail yang dibaca untuk mencari satu fungsi, senarai direktori. Bahagian yang bernilai adalah kecil: rancangan, keputusan dan sebabnya, ralat yang telah dibaiki.
Urutan pemotongan, dari pertama hingga terakhir:
- Output alat yang basi. Gantikan isi hasil alat lama dengan stub satu baris: “ran pytest: 3 failures in test_api.py (fixed in turn 14)”.
- Kandungan fail yang telah diganti. Jika ejen membaca
api.py, menyuntingnya, kemudian membacanya lagi, bacaan pertama hanyalah beban mati. - Penerokaan yang tidak ke mana-mana. Carian dan bacaan yang tidak membawa kepada perubahan.
- Penaakulan dan rancangan. Simpan ini paling lama. Ia menerangkan mengapa kod kelihatan begitu.
Memangkas output alat ketika ia dihasilkan lebih baik lagi. Hadkan setiap hasil alat (contohnya, 200 baris terakhir log berserta kiraan baris) dan biarkan ejen meminta lagi jika perlu. Itu memastikan sejarah tambah sahaja dan kecil.
Peraturan 4: bilakah ejen patut memampatkan sejarahnya?
Pemampatan (meringkaskan sejarah lama menjadi blok yang lebih pendek) ialah alat berat. Ia menulis semula awalan, jadi giliran selepas pemampatan membayar harga input penuh bagi semua yang selepas system prompt. Memampatkan sedikit setiap beberapa giliran bermakna membayar harga itu berulang kali.
Lebih baik:
- Pilih ambang yang tinggi. Dengan tetingkap 1M, memampatkan pada, katakan, 60–70% penuh memberi ruang untuk giliran ringkasan dan ekor kerja baharu yang panjang.
- Kekalkan ekor terkini secara verbatim. Ringkaskan bahagian lama dan biarkan rangkaian giliran terakhir utuh. Dokumentasi pemampatan opencode menerangkan ini: ia meringkaskan perbualan dan menyimpan bahagian terkini, kira-kira 15,000 token secara lalai.
- Ringkaskan dengan prompt penuh. Menghantar seluruh perbualan kepada permintaan ringkasan membolehkannya menggunakan semula cache daripada giliran sebelumnya.
- Mampatkan sekali, kemudian tambah semula. Selepas pemampatan, awalan baharu stabil, dan caching bersambung dari situ.
Peraturan 5: apakah yang patut ada dalam fail nota?
Sesetengah fakta mesti kekal walau berapa kali pun pemampatan berlaku: matlamat, kekangan, keputusan yang telah dibuat, arahan yang membina dan menguji projek. Simpan semuanya dalam fail nota pendek (NOTES.md atau fail tugas) yang ditambah dan dibaca semula oleh ejen. Ia terletak berhampiran bahagian atas prompt, jarang berubah, dan ialah perkara pertama yang dibaca sesi baharu jika larian bermula semula.
Ini juga bentuk memori yang paling murah: beberapa ribu token yang menyelamatkan ejen daripada menemui semula fakta yang sama selepas setiap ringkasan.
Bagaimanakah token penaakulan menjejaskan bajet?
DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B menaakul sebelum menjawab, dan penaakulan dikira dalam max_tokens. Sesi panjang tidak mengubahnya, tetapi prompt besar menggoda orang untuk menurunkan max_tokens bagi “menjimatkan ruang”. Jangan. Bajet output yang ketat menghasilkan jawapan kosong, yang kemudian dicuba semula oleh ejen. Mengapa jawapan kembali kosong.
Ingat juga bahawa tetingkap mengira prompt dan jawapan bersama. Apabila prompt hampir 1,048,576 token, tiada ruang lagi untuk menjawab. Mampatkan sebelum sampai ke situ; kalkulator tetingkap konteks menunjukkan berapa banyak ruang yang ditinggalkan oleh sesuatu prompt.
Adakah ini penting pada pelan kadar rata?
Pada sesi pelan BroadNet, DeepSeek V4.1 Flash tiada meter token: sesi Full Moon berharga $60 sebulan walau sepanjang mana pun prompt. Hujah wang untuk caching hilang. Dua lagi tidak. Awalan yang dicache biasanya lebih cepat diproses dalam banyak sistem penyajian, dan konteks yang diurus dengan baik memberi jawapan yang lebih baik. Tabiatnya sama; hanya sebabnya berubah. Cara sesi pelan berfungsi.
Senarai semak pengurusan konteks
- System prompt dan senarai alat tetap sepanjang sesi.
- Sejarah hanya ditambah; giliran lama tidak sekali-kali diformat semula.
- Kadar cache dilog setiap permintaan.
- Output alat dihadkan ketika dihasilkan; output basi dijadikan stub kemudian.
- Pemampatan pada ambang tinggi, dengan ekor terkini dikekalkan verbatim.
- Fail nota berisi matlamat, kekangan dan keputusan.
- Bajet output cukup besar untuk penaakulan.
Untuk mengetahui bila tetingkap sejuta token benar-benar berbaloi digunakan, lihat panduan tetingkap konteks 1M. Untuk menghentikan sesi yang membesar tanpa kemajuan, lihat kawalan kos gelung ejen.
