BroadRouter

10 cara menekan biaya LLM agen coding, lengkap dengan estimasi hemat

Oleh tim BroadNet Inference · 6 menit baca · Dipublikasikan

Sebagian besar biaya adalah input yang dikirim ulang setiap giliran. Jaga awal prompt tetap stabil agar masuk cache, sebutkan nama file, pangkas output tool, turunkan reasoning effort, batasi loop dan retry, serta arahkan langkah mudah ke model yang lebih murah. Di DeepSeek V4.1 Flash, input cache berharga sekitar 3% dari input baru. Di atas kira-kira 917 juta token input per bulan, paket harga tetap $60 lebih murah.

Tagihan agen coding tumbuh dengan cara yang tidak terjadi pada tagihan chat. Setiap giliran mengirim ulang system prompt, daftar tool, file yang sudah dibaca, dan percakapan sejauh ini. Pada giliran ke-30, satu permintaan bisa membawa ratusan ribu token input, sebagian besar berupa pengulangan. Sepuluh taktik di bawah ini menyasar ke mana token itu pergi. Masing-masing punya estimasi penghematan beserta hitungannya, memakai harga BroadNet Inference yang disinkronkan pada 2026-11-14. Angka Anda akan berbeda, jadi ukur sebelum dan sesudahnya.

Ke mana uang agen coding pergi?

Tiga meteran, diurutkan dari yang terbesar untuk kebanyakan agen:

  1. Input, dikirim ulang setiap giliran. Sebagian besar bisa di-cache.
  2. Output, termasuk token penalaran yang tidak pernah Anda lihat.
  3. Pemborosan: retry, loop yang tidak menghasilkan kemajuan, dan konteks yang tidak dibutuhkan siapa pun.

Sebelum mengubah apa pun, baca prompt_tokens, prompt_tokens_details.cached_tokens, dan completion_tokens untuk satu hari kerja nyata. Ke mana token loop agen pergi menunjukkan cara merincinya.

Taktik mana yang paling hemat?

# Taktik Yang dipangkas Estimasi hemat
1 Jaga prefiks prompt tetap stabil Input baru Tagihan input turun separuh atau lebih
2 Sebutkan nama file alih-alih membiarkan agen mencari Giliran eksplorasi Lebih sedikit giliran, lebih sedikit kirim ulang
3 Pangkas output tool Input di setiap giliran berikutnya Sebanding dengan ukuran log
4 Turunkan reasoning effort untuk langkah rutin Output tersembunyi Tergantung campuran tugas
5 Batasi langkah per tugas Loop yang lepas kendali Memberi plafon pada skenario terburuk
6 Batasi dan catat retry Permintaan duplikat Setiap retry yang dihindari adalah satu permintaan penuh
7 Mulai sesi baru per tugas Riwayat basi Konteks per giliran lebih pendek
8 Arahkan langkah mudah ke model yang lebih murah Harga per token Besar pada langkah yang dialihkan
9 Jarang meringkas, sering menambahkan Cache miss Menjaga taktik 1 tetap jalan
10 Pindah ke paket harga tetap setelah titik impas Meteran token $5.40 per bulan dalam contoh kami

1. Jaga prefiks prompt tetap stabil agar masuk cache

Input cache di DeepSeek V4.1 Flash berharga $0.0055 per 1 juta token; input baru berharga $0.175, sekitar 32 kali lebih mahal. Susun prompt dengan urutan: system prompt, tool, file, riwayat, pesan baru. Jangan pernah menaruh timestamp di bagian atas. Pada September 2026 Cursor melaporkan bahwa perubahan harness, termasuk system prompt yang sekitar dua pertiga lebih pendek dan tool yang hanya dimuat saat dibutuhkan, memangkas biaya token pengguna sebesar 7%. Cara menyusun prompt agar prefiksnya masuk cache.

Estimasi hemat. Misalkan 1.000 juta token input per bulan. Dengan cache hit 50%, Anda membayar harga input baru untuk 500 juta; dengan 80%, untuk 200 juta. Termasuk bagian yang ter-cache, tagihan input turun sekitar 56%. Baca cara menaikkan rasio cache, atau coba angka Anda sendiri di kalkulator prompt caching.

2. Beri tahu agen file mana yang penting

Tugas yang samar (“perbaiki bug login”) membuat agen mencari-cari: menampilkan isi direktori, membuka file, membacanya ke dalam konteks. Setiap file yang dibuka lalu dikirim ulang di setiap giliran berikutnya. Sebutkan nama file dan perubahan yang diharapkan. Simpan peta proyek singkat di repositori yang dibaca agen lebih dulu.

Estimasi hemat. Jika file 40.000 token dibaca pada giliran ke-3 dari tugas 30 giliran, file itu dikirim ulang sekitar 27 kali: lebih dari sejuta token input untuk satu file. Tidak membacanya menghemat semua itu.

3. Pangkas output tool sebelum masuk ke konteks

Test runner, log build, dan git diff bisa mengembalikan puluhan ribu token. Tunjukkan ke agen 100 baris terakhir log, atau hanya tes yang gagal. Kebanyakan tool agen memungkinkan Anda mengatur batas output untuk perintah.

Estimasi hemat. Hitungannya sama dengan taktik 2: setiap token yang Anda pangkas dihemat satu kali per giliran yang tersisa.

4. Turunkan reasoning effort untuk langkah rutin

DeepSeek V4.1 Flash dan GLM 5.3 berpikir sebelum menjawab, dan proses berpikir itu ditagih sebagai output. Set reasoning_effort: "low" untuk rename, format ulang, dan edit kecil. Jaga max_tokens cukup tinggi agar jawaban selesai; kalau tidak, Anda membayar proses berpikir tapi mendapat balasan kosong. Biaya token penalaran.

Estimasi hemat. Ukur completion_tokens_details.reasoning_tokens sebelum dan sesudahnya pada 20 tugas yang sama. Penghematannya adalah selisih itu dikali harga output ($0.52 per 1 juta token).

5. Batasi langkah per tugas

Agen yang tidak bisa memperbaiki sebuah tes bisa berputar selama 100 giliran, masing-masing lebih besar dari sebelumnya. Tetapkan jumlah giliran maksimum per tugas, dan hentikan saat tool call yang sama berulang tiga kali. Batas langkah mengubah biaya tanpa batas menjadi biaya yang terbatas.

6. Batasi dan catat retry

Permintaan yang diulang adalah inferensi baru, yang ditagih lagi pada kunci per token. Ulangi 429 dan 5xx dengan backoff dan batas tetap; jangan ulangi error 4xx lain seperti 400 atau 422. Error dan retry.

7. Mulai sesi baru untuk setiap tugas

Riwayat dari tugas sebelumnya hanya jadi beban mati di tugas berikutnya. Sesi baru per tugas menjaga konteks tetap kecil. Ini tidak bertentangan dengan caching: system prompt dan tool tetap membentuk prefiks bersama yang bisa di-cache.

8. Arahkan langkah mudah ke model yang lebih murah

Tidak setiap langkah butuh model yang sama. Pesan commit, baris changelog, dan klasifikasi sederhana bisa diserahkan ke Gemma 4 VL 26B dengan harga $0.10 input dan $0.22 output per 1 juta token. Jika Anda memakai GLM 5.3 untuk langkah yang banyak memakai tool, arahkan sisanya ke DeepSeek V4.1 Flash: output GLM 5.3 sekitar 6,7 kali lebih mahal. GLM 5.3 vs DeepSeek V4.1 Flash.

Perhatian. Ukur biaya per tugas yang selesai. Model lebih murah yang butuh dua kali lipat giliran bisa jadi lebih mahal.

9. Jarang meringkas, sisanya tambahkan di akhir

Saat agen memadatkan riwayatnya, prompt ditulis ulang dan cache mulai dari nol. Ringkas hanya saat konteks sudah mendekati batasnya, dalam satu langkah besar, lalu kembali menambahkan di akhir. Ini menjaga taktik 1 tetap jalan.

10. Pindah ke paket harga tetap setelah melewati titik impas

Penagihan per token menguntungkan pemakaian kecil. Agen penuh waktu tidaklah kecil. Dalam contoh hitungan BroadNet, agen coding penuh waktu (1.000 juta input dengan cache 80%, 50 juta output) berbiaya $65.40 per bulan dengan bayar per token; agen yang selalu menyala berbiaya $196.20. Satu sesi Full Moon berharga $60 per bulan tanpa meteran token, satu permintaan dalam satu waktu. Pada titik itu taktik 1 sampai 9 masih menghemat waktu, tapi tidak lagi menghemat uang. Cek volume Anda dengan kalkulator harga tetap vs per token, atau baca hitungan titik impas dan menjalankan agen paralel dengan harga tetap.

Bagaimana mengukur apakah sebuah taktik berhasil?

  1. Pilih 20 tugas yang representatif dari backlog Anda.
  2. Jalankan dengan setup saat ini dan catat token per tugas.
  3. Terapkan satu taktik sekali waktu, lalu jalankan ulang.
  4. Bandingkan biaya per tugas yang selesai, bukan biaya per permintaan.

Untuk aplikasi yang bukan agen coding, tuas yang sama dalam urutan umum ada di cara menekan biaya API LLM.

Panduan setup untuk agen populer: Aider, Cline, Zoo Code, fork dari Roo Code yang kini sudah dihentikan, dan OpenCode.

Di mana posisi BroadNet Inference?

BroadNet memberi agen coding tarif input cache yang murah di DeepSeek V4.1 Flash dan, untuk pemakaian berat, sesi unlimited mulai $60 per bulan, lewat endpoint kompatibel OpenAI yang sudah didukung agen-agen ini. BroadNet tidak menjalankan model frontier tertutup, jadi jika agen Anda membutuhkannya untuk langkah tersulit, tetap pakai model itu di vendornya sendiri dan kirim sebagian besar giliran ke sini. Lihat paketnya.

Pertanyaan umum

Kenapa agen coding mahal sekali dijalankan?

Agen mengirim ulang system prompt, definisi tool, isi file, dan riwayat di setiap giliran, jadi token input bertambah di setiap langkah. Penalaran menambah output tersembunyi di atasnya.

Apa satu cara paling ampuh untuk menekan biaya agen coding?

Jaga awal prompt tetap sama antargiliran agar ditagih sebagai input cache. Di DeepSeek V4.1 Flash, input cache berharga $0.0055 per 1 juta token, dibandingkan $0.175 untuk input baru.

Apakah model yang lebih murah selalu lebih hemat untuk agen coding?

Tidak. Model yang lebih lemah dan butuh lebih banyak langkah, atau gagal lalu mengulang, bisa lebih mahal secara total. Ukur biaya per tugas yang selesai, bukan per token.

Kapan paket harga tetap lebih murah untuk agen coding?

Untuk DeepSeek V4.1 Flash, pada kira-kira 917 juta token input dan 46 juta token output per bulan dengan cache hit 80%. Agen penuh waktu biasanya melewati angka itu.

Bagaimana menghentikan agen coding yang berputar-putar dan membakar token?

Batasi jumlah giliran per tugas, hentikan saat tool call yang sama berulang tiga kali, dan batasi retry untuk error 429 dan 5xx. Batas langkah mengubah biaya tanpa batas menjadi biaya yang terbatas.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity