BroadRouter

Anggaran token agen: ke mana token loop agen pergi

Oleh tim BroadNet Inference · 5 menit baca · Dipublikasikan

Loop agen mengirim ulang seluruh konteksnya di setiap panggilan: system prompt, definisi tool, riwayat percakapan, isi file, dan output tool, plus langkah baru. Input biasanya berlipat-lipat lebih besar daripada output. Catat prompt_tokens, cached_tokens, dan completion_tokens per panggilan, temukan blok berulang terbesar, lalu pangkas tool, batasi output tool, dan mulai ulang sesi yang panjang.

Chat berbiaya sebanyak yang Anda ketik plus yang ditulis model. Agen jauh lebih mahal, karena memanggil model puluhan kali dan mengirim ulang hampir semuanya setiap kali. Jika Anda ingin memangkas biaya itu, atau sekadar berhenti mentok di context window, Anda perlu tahu bagian mana dari setiap permintaan yang besar. Tulisan ini membagi loop agen menjadi lima kelompok, menunjukkan cara mengukur masing-masing dari data usage milik API itu sendiri, dan mencantumkan apa yang perlu dipangkas lebih dulu.

Kenapa agen mengirim ulang semuanya?

API chat completions bersifat stateless. Model tidak mengingat apa pun di antara panggilan, jadi agen mengirim seluruh konteks di setiap langkah. Tugas 40 langkah yang setiap panggilannya membawa 30.000 token membaca 1,2 juta token input untuk menghasilkan mungkin 40.000 token output. Rasio 30 banding 1 itulah sebabnya token input dan harga cache-nya mendominasi tagihan agen.

Ke mana token pergi?

Kelompok Isinya Berulang di setiap panggilan? Pemicu umum
System prompt Instruksi agen, file aturan, catatan proyek Ya File aturan yang panjang
Skema tool Nama, deskripsi, dan JSON Schema setiap tool Ya Tool bawaan plus setiap server MCP
Riwayat Pesan sebelumnya, tool call, dan hasilnya Ya, dan terus bertambah Sesi yang panjang
Pembacaan file dan output tool Isi file, log tes, hasil pencarian Ya, sampai dibuang Membaca file utuh, perintah yang verbose
Output Jawaban yang terlihat, tool call, dan penalaran Tidak Reasoning effort, menulis ulang file utuh

Dua yang pertama adalah overhead tetap. Pada September 2026 Cursor menulis bahwa system prompt dan definisi tool “had become one of the largest sources of spend that we fully control” (Terjemahan BroadRouter: telah menjadi salah satu sumber pengeluaran terbesar yang sepenuhnya kami kendalikan), dan menyebut pembacaan file sebagai “another large source of token spend” (Terjemahan BroadRouter: sumber besar lain dari pengeluaran token). Perubahan yang dilakukannya, termasuk memangkas sekitar dua pertiga system prompt dan memuat tool yang dipakai di kurang dari 20% percakapan hanya saat dibutuhkan, memangkas biaya token pengguna sebesar 7%. Tim VS Code di GitHub menyebut dua biaya yang sama untuk Copilot: prefiks prompt yang berulang dan overhead definisi tool.

Bagaimana cara mengukurnya?

Anda tidak butuh produk tracing. Blok usage di setiap respons sudah cukup.

  1. Aktifkan usage. Untuk streaming, tambahkan stream_options: {"include_usage": true}; data usage datang di chunk terakhir. Lihat streaming.
  2. Catat per panggilan: nomor langkah, prompt_tokens, prompt_tokens_details.cached_tokens, completion_tokens, dan, jika dilaporkan, completion_tokens_details.reasoning_tokens.
  3. Ukur overhead tetap sekali saja. Kirim satu permintaan yang hanya berisi system prompt dan tool, plus kata “hi”. prompt_tokens-nya adalah batas bawah Anda.
  4. Ukur output sebuah tool. Hitung karakter setiap hasil tool sebelum Anda menambahkannya. Membaginya dengan empat memberi perkiraan kasar jumlah token untuk teks bahasa Inggris; tempel contohnya ke penghitung token gratis untuk angka persis pada tokenizer model Anda.
r = client.chat.completions.create(model=MODEL, messages=msgs, tools=tools)
u = r.usage
cached = getattr(u.prompt_tokens_details, "cached_tokens", 0) or 0
log.info("step=%d prompt=%d cached=%d out=%d", step, u.prompt_tokens, cached, u.completion_tokens)

Plot prompt_tokens per langkah. Kemiringan yang stabil berarti riwayat terus bertambah. Lonjakan tiba-tiba berarti file atau log besar masuk ke konteks. Batas bawah yang tinggi berarti tool terlalu banyak.

Di Aider, /tokens melaporkan isi konteks saat ini, dan /drop mengeluarkan file dari konteks.

Apa yang harus dipangkas lebih dulu?

Urutkan berdasarkan ukuran dikali jumlah pengulangan, bukan berdasarkan yang paling mudah:

  1. Tool yang tidak terpakai. Setiap skema tool ikut di setiap panggilan. Panduan OpenAI menyebut definisi fungsi “are billed as input tokens” (Terjemahan BroadRouter: ditagih sebagai token input) dan menyarankan kurang dari 20 fungsi di awal giliran, sebagai aturan longgar. Nonaktifkan server MCP yang tidak Anda pakai untuk tugas ini; dokumentasi opencode terang-terangan menyebut tool MCP memakan konteks model.
  2. Output tool. Batasi output perintah (200 baris terakhir log tes, bukan 20.000). Kembalikan hasil pencarian sebagai path dan nomor baris, lalu baca hanya yang diperlukan.
  3. Pembacaan file. Baca fungsinya, bukan seluruh file. Repo map Aider memakai anggaran default 1k token (--map-tokens) alih-alih file utuh.
  4. Riwayat. Mulai tugas baru untuk setiap perubahan. Jika sesi harus berlanjut, ganti giliran lama dengan ringkasan singkat.
  5. System prompt. Hapus aturan yang sudah dipatuhi model. Jaga sisanya tetap stabil.
  6. Output. Minta diff, bukan file utuh. Set reasoning_effort ke low untuk langkah rutin. Token penalaran ditagih sebagai output.

Kenapa prefiks harus tetap stabil?

Penyedia meng-cache prefiks yang berulang dan menagihnya dengan tarif lebih rendah. Di BroadNet Inference, DeepSeek V4.1 Flash menagih input cache $0.0055 per 1 juta token dan input baru $0.175. GLM 5.3 menagih $0.173 dibandingkan $0.78. Timestamp di system prompt, atau tool yang urutannya berbeda di setiap panggilan, merusak cache mulai titik itu. Taruh bagian yang stabil di depan dengan urutan tetap, dan bagian yang berubah di akhir. Selengkapnya di penjelasan token input cache; kalkulator prompt caching menunjukkan berapa yang dihemat oleh hit rate tertentu.

Caching menurunkan harga prefiks, tetapi tidak ukurannya. Token yang ter-cache tetap mengisi context window dan tetap butuh waktu untuk diproses.

Seperti apa contoh hitungan anggaran agen?

Ambil tugas 40 langkah di atas, dengan 80% input ter-cache:

Bagian Token Ditagih dengan
Input baru 240.000 Harga input
Input cache 960.000 Harga input cache
Output termasuk penalaran 40.000 Harga output

Memangkas 5.000 token skema tool yang tidak terpakai dari setiap panggilan menghapus 200.000 token input dari tugas ini, sekitar seperenam dari total, tanpa mengubah perilaku agen. Untuk tuas biaya di luar pemangkasan, seperti pilihan model, caching, dan paket harga tetap, lihat 10 cara menekan biaya LLM agen coding. Untuk setup multi-agent, kalikan dengan jumlah agen; lihat berapa biaya setup multi-agent. Untuk memodelkan loop Anda sendiri langkah demi langkah, pakai estimator biaya run agen.

Di mana posisi BroadNet Inference?

BroadNet Inference mengembalikan token prompt dan completion di blok usage, plus token cache dan token penalaran jika model melaporkannya, jadi pengukuran di atas bisa dipakai apa adanya. Harga input cache yang rendah di DeepSeek V4.1 Flash menguntungkan prefiks yang stabil. Jika memangkas tidak sepadan dengan waktu Anda, paket unlimited menghapus meteran token untuk DeepSeek V4.1 Flash dengan harga $60 per bulan per sesi; context window tetap berlaku, dan konteks yang ramping tetap berjalan lebih cepat. Paketnya ada di inference.broadnet.ai/plans.

Pertanyaan umum

Kenapa agen coding saya memakai begitu banyak token input?

Karena API-nya stateless. Setiap panggilan mengirim ulang system prompt, setiap definisi tool, percakapan sejauh ini, dan semua isi file yang masih ada di konteks. Sesi yang panjang melipatgandakannya sebanyak jumlah langkah.

Bagaimana melihat berapa token yang dipakai setiap langkah agen?

Baca blok usage di setiap respons. Dengan streaming, set include_usage di stream_options ke true lalu baca chunk terakhir. Catat prompt_tokens, prompt_tokens_details.cached_tokens, dan completion_tokens beserta nomor langkahnya.

Apakah definisi tool dihitung sebagai token input?

Ya. Daftar tool adalah bagian dari prompt dan dikirim di setiap panggilan. Server MCP menambahkan tool-nya ke daftar itu, itulah sebabnya dokumentasi opencode menyarankan hanya menambahkan server yang Anda butuhkan.

Apakah prompt caching menyelesaikan masalahnya?

Caching menurunkan harga prefiks yang berulang, bukan ukurannya. Input cache tetap mengisi context window. Di BroadNet, DeepSeek V4.1 Flash menagih input cache $0.0055 per 1 juta token, dibandingkan $0.175 untuk input baru.

Apakah token penalaran termasuk dalam anggaran?

Ya, di sisi output. Model penalaran menghitung proses berpikir ke max_tokens dan menagihnya sebagai output pada bayar sesuai pemakaian. Set reasoning_effort ke low untuk langkah rutin.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity