Chat berbiaya sebanyak yang Anda ketik plus yang ditulis model. Agen jauh lebih mahal, karena memanggil model puluhan kali dan mengirim ulang hampir semuanya setiap kali. Jika Anda ingin memangkas biaya itu, atau sekadar berhenti mentok di context window, Anda perlu tahu bagian mana dari setiap permintaan yang besar. Tulisan ini membagi loop agen menjadi lima kelompok, menunjukkan cara mengukur masing-masing dari data usage milik API itu sendiri, dan mencantumkan apa yang perlu dipangkas lebih dulu.
Kenapa agen mengirim ulang semuanya?
API chat completions bersifat stateless. Model tidak mengingat apa pun di antara panggilan, jadi agen mengirim seluruh konteks di setiap langkah. Tugas 40 langkah yang setiap panggilannya membawa 30.000 token membaca 1,2 juta token input untuk menghasilkan mungkin 40.000 token output. Rasio 30 banding 1 itulah sebabnya token input dan harga cache-nya mendominasi tagihan agen.
Ke mana token pergi?
| Kelompok | Isinya | Berulang di setiap panggilan? | Pemicu umum |
|---|---|---|---|
| System prompt | Instruksi agen, file aturan, catatan proyek | Ya | File aturan yang panjang |
| Skema tool | Nama, deskripsi, dan JSON Schema setiap tool | Ya | Tool bawaan plus setiap server MCP |
| Riwayat | Pesan sebelumnya, tool call, dan hasilnya | Ya, dan terus bertambah | Sesi yang panjang |
| Pembacaan file dan output tool | Isi file, log tes, hasil pencarian | Ya, sampai dibuang | Membaca file utuh, perintah yang verbose |
| Output | Jawaban yang terlihat, tool call, dan penalaran | Tidak | Reasoning effort, menulis ulang file utuh |
Dua yang pertama adalah overhead tetap. Pada September 2026 Cursor menulis bahwa system prompt dan definisi tool “had become one of the largest sources of spend that we fully control” (Terjemahan BroadRouter: telah menjadi salah satu sumber pengeluaran terbesar yang sepenuhnya kami kendalikan), dan menyebut pembacaan file sebagai “another large source of token spend” (Terjemahan BroadRouter: sumber besar lain dari pengeluaran token). Perubahan yang dilakukannya, termasuk memangkas sekitar dua pertiga system prompt dan memuat tool yang dipakai di kurang dari 20% percakapan hanya saat dibutuhkan, memangkas biaya token pengguna sebesar 7%. Tim VS Code di GitHub menyebut dua biaya yang sama untuk Copilot: prefiks prompt yang berulang dan overhead definisi tool.
Bagaimana cara mengukurnya?
Anda tidak butuh produk tracing. Blok usage di setiap respons sudah cukup.
- Aktifkan usage. Untuk streaming, tambahkan
stream_options: {"include_usage": true}; data usage datang di chunk terakhir. Lihat streaming. - Catat per panggilan: nomor langkah,
prompt_tokens,prompt_tokens_details.cached_tokens,completion_tokens, dan, jika dilaporkan,completion_tokens_details.reasoning_tokens. - Ukur overhead tetap sekali saja. Kirim satu permintaan yang hanya berisi system prompt dan tool, plus kata “hi”.
prompt_tokens-nya adalah batas bawah Anda. - Ukur output sebuah tool. Hitung karakter setiap hasil tool sebelum Anda menambahkannya. Membaginya dengan empat memberi perkiraan kasar jumlah token untuk teks bahasa Inggris; tempel contohnya ke penghitung token gratis untuk angka persis pada tokenizer model Anda.
r = client.chat.completions.create(model=MODEL, messages=msgs, tools=tools)
u = r.usage
cached = getattr(u.prompt_tokens_details, "cached_tokens", 0) or 0
log.info("step=%d prompt=%d cached=%d out=%d", step, u.prompt_tokens, cached, u.completion_tokens)
Plot prompt_tokens per langkah. Kemiringan yang stabil berarti riwayat terus bertambah. Lonjakan tiba-tiba berarti file atau log besar masuk ke konteks. Batas bawah yang tinggi berarti tool terlalu banyak.
Di Aider, /tokens melaporkan isi konteks saat ini, dan /drop mengeluarkan file dari konteks.
Apa yang harus dipangkas lebih dulu?
Urutkan berdasarkan ukuran dikali jumlah pengulangan, bukan berdasarkan yang paling mudah:
- Tool yang tidak terpakai. Setiap skema tool ikut di setiap panggilan. Panduan OpenAI menyebut definisi fungsi “are billed as input tokens” (Terjemahan BroadRouter: ditagih sebagai token input) dan menyarankan kurang dari 20 fungsi di awal giliran, sebagai aturan longgar. Nonaktifkan server MCP yang tidak Anda pakai untuk tugas ini; dokumentasi opencode terang-terangan menyebut tool MCP memakan konteks model.
- Output tool. Batasi output perintah (200 baris terakhir log tes, bukan 20.000). Kembalikan hasil pencarian sebagai path dan nomor baris, lalu baca hanya yang diperlukan.
- Pembacaan file. Baca fungsinya, bukan seluruh file. Repo map Aider memakai anggaran default 1k token (
--map-tokens) alih-alih file utuh. - Riwayat. Mulai tugas baru untuk setiap perubahan. Jika sesi harus berlanjut, ganti giliran lama dengan ringkasan singkat.
- System prompt. Hapus aturan yang sudah dipatuhi model. Jaga sisanya tetap stabil.
- Output. Minta diff, bukan file utuh. Set
reasoning_effortkelowuntuk langkah rutin. Token penalaran ditagih sebagai output.
Kenapa prefiks harus tetap stabil?
Penyedia meng-cache prefiks yang berulang dan menagihnya dengan tarif lebih rendah. Di BroadNet Inference, DeepSeek V4.1 Flash menagih input cache $0.0055 per 1 juta token dan input baru $0.175. GLM 5.3 menagih $0.173 dibandingkan $0.78. Timestamp di system prompt, atau tool yang urutannya berbeda di setiap panggilan, merusak cache mulai titik itu. Taruh bagian yang stabil di depan dengan urutan tetap, dan bagian yang berubah di akhir. Selengkapnya di penjelasan token input cache; kalkulator prompt caching menunjukkan berapa yang dihemat oleh hit rate tertentu.
Caching menurunkan harga prefiks, tetapi tidak ukurannya. Token yang ter-cache tetap mengisi context window dan tetap butuh waktu untuk diproses.
Seperti apa contoh hitungan anggaran agen?
Ambil tugas 40 langkah di atas, dengan 80% input ter-cache:
| Bagian | Token | Ditagih dengan |
|---|---|---|
| Input baru | 240.000 | Harga input |
| Input cache | 960.000 | Harga input cache |
| Output termasuk penalaran | 40.000 | Harga output |
Memangkas 5.000 token skema tool yang tidak terpakai dari setiap panggilan menghapus 200.000 token input dari tugas ini, sekitar seperenam dari total, tanpa mengubah perilaku agen. Untuk tuas biaya di luar pemangkasan, seperti pilihan model, caching, dan paket harga tetap, lihat 10 cara menekan biaya LLM agen coding. Untuk setup multi-agent, kalikan dengan jumlah agen; lihat berapa biaya setup multi-agent. Untuk memodelkan loop Anda sendiri langkah demi langkah, pakai estimator biaya run agen.
Di mana posisi BroadNet Inference?
BroadNet Inference mengembalikan token prompt dan completion di blok usage, plus token cache dan token penalaran jika model melaporkannya, jadi pengukuran di atas bisa dipakai apa adanya. Harga input cache yang rendah di DeepSeek V4.1 Flash menguntungkan prefiks yang stabil. Jika memangkas tidak sepadan dengan waktu Anda, paket unlimited menghapus meteran token untuk DeepSeek V4.1 Flash dengan harga $60 per bulan per sesi; context window tetap berlaku, dan konteks yang ramping tetap berjalan lebih cepat. Paketnya ada di inference.broadnet.ai/plans.
