BroadRouter
Mulai

Context engineering (rekayasa konteks)

Diperbarui

Context engineering adalah pekerjaan memilih dan merawat kumpulan token yang dilihat model bahasa di setiap request, termasuk system prompt, definisi tool, riwayat, dokumen yang diambil, dan catatan, agar model mendapat informasi bersinyal tinggi sesedikit mungkin yang ia butuhkan untuk mengerjakan tugas dengan baik.

Disebut juga: context engineering, rekayasa konteks, manajemen konteks, pengelolaan konteks agen, context management, agent context engineering

Prompt adalah sesuatu yang Anda tulis sekali. Konteks adalah semua yang dilihat model di setiap giliran, dan pada agen konteks itu berubah setiap giliran.

Cara kerjanya

Artikel engineering Anthropic menggambarkan context engineering sebagai “the set of strategies for curating and maintaining the optimal set of tokens” (terjemahan: kumpulan strategi untuk mengkurasi dan merawat kumpulan token yang optimal) selama inferensi, termasuk informasi di luar prompt. Tujuannya ditetapkan sebagai menemukan “smallest possible set of high-signal tokens” (terjemahan: kumpulan token bersinyal tinggi sekecil mungkin) yang membuat hasil yang diinginkan lebih mungkin tercapai.

Alasannya adalah perhatian yang terbatas. Artikel itu menyebut model punya “attention budget” (terjemahan: anggaran perhatian), dan kemampuan mengingat turun saat konteks membesar, yang disebutnya context rot. Posisi juga berpengaruh: fakta di tengah prompt yang panjang lebih mudah terlewat (lost in the middle).

Artikel itu menyebut beberapa teknik untuk agen yang berjalan lama:

Teknik Fungsinya
Compaction Meringkas riwayat saat mendekati batas lalu melanjutkan dari ringkasan
Pembersihan hasil tool Membuang output tool mentah yang lama dari riwayat
Pencatatan terstruktur Agen menulis catatan ke file di luar konteks lalu membacanya lagi nanti
Subagen Mengerjakan tugas terfokus di konteks yang bersih lalu mengembalikan ringkasan singkat
Pengambilan just-in-time Menyimpan referensi (path file, query) dan memuat data hanya saat dibutuhkan

Contoh anggaran satu giliran pada agen coding:

System prompt + rules          4,000 tokens
Tool definitions               6,000 tokens
Notes file                     1,500 tokens
History (compacted)           20,000 tokens
Latest tool output             8,000 tokens   <- largest single item

Mengapa penting

  • Kualitas. Lebih sedikit noise di konteks biasanya berarti jawaban lebih baik dan lebih sedikit instruksi yang terlewat.
  • Biaya. Pada penagihan per token, setiap token di konteks ditagih di setiap giliran. Konten stabil yang diletakkan di awal lebih murah sebagai input cache; lihat struktur prompt untuk caching.
  • Durasi kerja. Manajemen konteks yang baik membuat agen bisa bekerja berjam-jam tanpa menabrak batas context window.

Di BroadNet Inference

Context engineering terjadi di kode Anda: Chat Completions API BroadNet menerima daftar pesan apa pun yang Anda kirim. DeepSeek V4.1 Flash dan GLM 5.3 menerima 1.048.576 token, Qwen3.8 27B 262.144, dan Gemma 4 VL 26B 32K, jadi konteks yang ringkas paling penting di Gemma.

Jika model melaporkannya, usage.prompt_tokens_details.cached_tokens menunjukkan token yang dibaca dari cache, yang ditagih dengan harga input cache pada bayar sesuai pemakaian. Manajemen konteks untuk agen yang berjalan lama memberikan lima aturan praktis, dan artikel anggaran token agen menunjukkan ke mana token agen terpakai.

Pertanyaan umum

Apa bedanya context engineering dengan prompt engineering?

Prompt engineering berfokus pada menulis instruksi yang baik. Context engineering mencakup semua yang dilihat model dalam satu giliran, termasuk definisi tool, riwayat, dan data yang diambil, serta bagaimana kumpulan itu berubah sepanjang sesi yang panjang.

Kenapa tidak pakai context window yang lebih besar saja?

Window yang lebih besar menunda masalah, tetapi tidak menghilangkannya. Anthropic mencatat bahwa kemampuan mengingat menurun saat konteks membesar, dan pada penagihan per token setiap token tambahan dibayar lagi di setiap giliran.

Apa yang sebaiknya dicoba pertama kali?

Ukur apa yang mengisi konteks Anda. Output tool dan riwayat lama biasanya bagian terbesar, dan memangkas atau meringkasnya murah untuk dicoba.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity