Prompt ialah sesuatu yang anda tulis sekali. Konteks ialah semua yang dilihat model pada setiap giliran, dan dalam ejen ia berubah pada setiap giliran.
Cara ia berfungsi
Artikel kejuruteraan Anthropic menerangkan kejuruteraan konteks sebagai “the set of strategies for curating and maintaining the optimal set of tokens” (Terjemahan BroadRouter: “set strategi untuk memilih dan menyelenggara set token yang optimum”) semasa inferens, termasuk maklumat di luar prompt. Matlamatnya ialah mencari “smallest possible set of high-signal tokens” (Terjemahan BroadRouter: “set token bernilai tinggi yang sekecil mungkin”) yang menjadikan hasil yang diingini lebih berkemungkinan.
Sebabnya ialah perhatian yang terhad. Artikel itu menyatakan model mempunyai “attention budget” (bajet perhatian), dan ingatan semula merosot apabila konteks bertambah, yang dipanggilnya context rot. Kedudukan juga penting: fakta di tengah-tengah prompt yang panjang lebih mudah terlepas (lost in the middle).
Artikel itu menamakan beberapa teknik untuk ejen yang berjalan lama:
| Teknik | Fungsinya |
|---|---|
| Pemadatan | Ringkaskan sejarah apabila hampir mencapai had dan teruskan daripada ringkasan |
| Pembersihan hasil alat | Buang output alat mentah yang lama daripada sejarah |
| Pengambilan nota berstruktur | Ejen menulis nota ke dalam fail di luar konteks dan membacanya semula kemudian |
| Subagen | Lakukan kerja berfokus dalam konteks yang bersih dan pulangkan ringkasan pendek |
| Pengambilan tepat pada masanya (just-in-time) | Simpan rujukan (laluan fail, pertanyaan) dan muatkan data hanya apabila perlu |
Contoh bajet satu giliran dalam ejen pengekodan:
System prompt + rules 4,000 tokens
Tool definitions 6,000 tokens
Notes file 1,500 tokens
History (compacted) 20,000 tokens
Latest tool output 8,000 tokens <- largest single item
Mengapa ia penting
- Kualiti. Kurang hingar dalam konteks biasanya bermakna jawapan yang lebih baik dan lebih sedikit arahan yang terlepas.
- Kos. Dengan pengebilan setiap token, setiap token dalam konteks dicaj pada setiap giliran. Kandungan stabil yang diletakkan di hadapan lebih murah sebagai input cache; lihat struktur prompt untuk caching.
- Tempoh larian. Pengurusan konteks yang baik membolehkan ejen bekerja berjam-jam tanpa mencapai had tetingkap konteks.
Di BroadNet Inference
Kejuruteraan konteks berlaku dalam kod anda: Chat Completions API BroadNet menerima apa sahaja senarai mesej yang anda hantar. DeepSeek V4.1 Flash dan GLM 5.3 menerima 1,048,576 token, Qwen3.8 27B 262,144 dan Gemma 4 VL 26B 32K, jadi konteks yang padat paling penting pada Gemma.
Apabila model melaporkannya, usage.prompt_tokens_details.cached_tokens menunjukkan token yang dibaca daripada cache, yang dicaj pada harga input cache untuk bayar ikut guna. Pengurusan konteks untuk ejen yang berjalan lama memberikan lima peraturan praktikal, dan artikel bajet token ejen menunjukkan ke mana token ejen pergi.