Prompt adalah sesuatu yang Anda tulis sekali. Konteks adalah semua yang dilihat model di setiap giliran, dan pada agen konteks itu berubah setiap giliran.
Cara kerjanya
Artikel engineering Anthropic menggambarkan context engineering sebagai “the set of strategies for curating and maintaining the optimal set of tokens” (terjemahan: kumpulan strategi untuk mengkurasi dan merawat kumpulan token yang optimal) selama inferensi, termasuk informasi di luar prompt. Tujuannya ditetapkan sebagai menemukan “smallest possible set of high-signal tokens” (terjemahan: kumpulan token bersinyal tinggi sekecil mungkin) yang membuat hasil yang diinginkan lebih mungkin tercapai.
Alasannya adalah perhatian yang terbatas. Artikel itu menyebut model punya “attention budget” (terjemahan: anggaran perhatian), dan kemampuan mengingat turun saat konteks membesar, yang disebutnya context rot. Posisi juga berpengaruh: fakta di tengah prompt yang panjang lebih mudah terlewat (lost in the middle).
Artikel itu menyebut beberapa teknik untuk agen yang berjalan lama:
| Teknik | Fungsinya |
|---|---|
| Compaction | Meringkas riwayat saat mendekati batas lalu melanjutkan dari ringkasan |
| Pembersihan hasil tool | Membuang output tool mentah yang lama dari riwayat |
| Pencatatan terstruktur | Agen menulis catatan ke file di luar konteks lalu membacanya lagi nanti |
| Subagen | Mengerjakan tugas terfokus di konteks yang bersih lalu mengembalikan ringkasan singkat |
| Pengambilan just-in-time | Menyimpan referensi (path file, query) dan memuat data hanya saat dibutuhkan |
Contoh anggaran satu giliran pada agen coding:
System prompt + rules 4,000 tokens
Tool definitions 6,000 tokens
Notes file 1,500 tokens
History (compacted) 20,000 tokens
Latest tool output 8,000 tokens <- largest single item
Mengapa penting
- Kualitas. Lebih sedikit noise di konteks biasanya berarti jawaban lebih baik dan lebih sedikit instruksi yang terlewat.
- Biaya. Pada penagihan per token, setiap token di konteks ditagih di setiap giliran. Konten stabil yang diletakkan di awal lebih murah sebagai input cache; lihat struktur prompt untuk caching.
- Durasi kerja. Manajemen konteks yang baik membuat agen bisa bekerja berjam-jam tanpa menabrak batas context window.
Di BroadNet Inference
Context engineering terjadi di kode Anda: Chat Completions API BroadNet menerima daftar pesan apa pun yang Anda kirim. DeepSeek V4.1 Flash dan GLM 5.3 menerima 1.048.576 token, Qwen3.8 27B 262.144, dan Gemma 4 VL 26B 32K, jadi konteks yang ringkas paling penting di Gemma.
Jika model melaporkannya, usage.prompt_tokens_details.cached_tokens menunjukkan token yang dibaca dari cache, yang ditagih dengan harga input cache pada bayar sesuai pemakaian. Manajemen konteks untuk agen yang berjalan lama memberikan lima aturan praktis, dan artikel anggaran token agen menunjukkan ke mana token agen terpakai.