BroadRouter

Cara menghemat biaya API LLM: checklist 10 langkah, berurutan

Oleh tim BroadNet Inference · 8 menit baca · Dipublikasikan

Untuk menghemat biaya API LLM, catat dulu token per permintaan, lalu kerjakan urutan ini: jaga prefix prompt tetap stabil agar ter-cache, ringkas prompt, batasi output dan penalaran, pakai model terkecil yang lolos pengujian Anda, jalankan secara batch atau geser pekerjaan yang bisa menunggu, cache jawaban yang berulang, batasi retry, lalu pindah ke paket harga tetap begitu pemakaian melewati titik impas.

Kebanyakan daftar “pangkas tagihan LLM Anda 70%” mencampur saran bagus dengan angka yang tidak pernah diukur siapa pun. Checklist ini diurutkan berdasarkan apa yang harus dikerjakan lebih dulu, dan setiap angkanya berasal dari file harga atau dokumentasi penyedia itu sendiri. Jika suatu langkah punya artikel yang lebih mendalam di situs ini, kami tautkan ke sana. Harga BroadNet di bawah diambil dari file harganya, yang disinkronkan pada 2026-11-14.

Apa yang menentukan tagihan API LLM?

Hampir setiap tagihan ditentukan oleh empat angka:

  1. Token input baru. Prompt, dikurangi bagian yang dibaca dari cache.
  2. Token input cache. Prefix yang berulang, ditagih dengan tarif lebih rendah.
  3. Token output. Jawaban, ditambah token penalaran pada model yang berpikir.
  4. Jumlah permintaan. Setiap panggilan, termasuk setiap retry, ditagih tersendiri.

Unit yang mahal adalah output. Di model chat BroadNet, per 1 juta token:

Model Input Input cache Output
DeepSeek V4.1 Flash $0.175 $0.0055 $0.52
Qwen3.8 27B $0.175 $0.0435 $2.17
GLM 5.3 $0.78 $0.173 $3.46
Gemma 4 VL 26B $0.10 tidak dipublikasikan $0.22

Jadi tuasnya adalah: kirim lebih sedikit token baru, baca lebih banyak dari cache, hasilkan lebih sedikit, dan lakukan lebih sedikit panggilan. Cara kerja harga API LLM membahas setiap unit secara rinci.

Ringkasan checklist

Langkah Yang Anda ubah Yang dipangkas Usaha
1. Ukur Hanya logging Belum ada; menunjukkan di mana harus memangkas Rendah
2. Cache prefix Urutan prompt Harga input Rendah
3. Ringkas prompt Isi prompt Token input Sedang
4. Batasi output dan penalaran Pengaturan permintaan Token output Rendah
5. Pilih ukuran model yang pas Pilihan model Semua harga Sedang
6. Batch atau geser pekerjaan Penjadwalan Harga per token, jika tersedia Sedang
7. Cache jawaban Kode aplikasi Seluruh permintaan Sedang
8. Batasi retry dan loop Kode aplikasi Permintaan yang terbuang Rendah
9. Pasang batas pengeluaran Akun dan kunci Tagihan yang membengkak Rendah
10. Cek titik impas harga tetap Model penagihan Total tagihan pada volume tinggi Rendah

1. Kenapa harus mengukur sebelum memangkas apa pun?

Karena tagihan menyembunyikan penyebabnya. Dua permintaan yang tampak sama bisa berbeda sepuluh kali lipat dalam jumlah token. Setiap chat completion mengembalikan blok usage berisi prompt_tokens, completion_tokens, dan, jika penyedia melaporkannya, token cache. Catat angka-angka itu per fitur dan per pengguna, tanpa teks prompt. Setelah seminggu Anda tahu fitur mana yang paling boros dan apakah penyebabnya input, cache miss, atau output.

Logging pemakaian dengan PII disamarkan menunjukkan skema log-nya. Untuk memperkirakan ukuran fitur sebelum dirilis, pakai kalkulator biaya API LLM atau metode di memperkirakan biaya sebelum peluncuran.

2. Bagaimana prompt caching memangkas biaya?

Penyedia menyimpan di cache bagian awal prompt yang berulang persis sama. Panggilan berikutnya membaca prefix itu dengan harga cache. OpenAI mengaktifkan caching secara default untuk model yang didukung, mulai 1.024 token, dan menyebut input cache “discounted up to 95%” (Terjemahan BroadRouter: “didiskon hingga 95%”) (dicek 2026-11-15). Di BroadNet, DeepSeek V4.1 Flash menagih input cache $0.0055 per 1 juta token, dibanding $0.175 untuk input baru.

Aturannya: konten statis di depan, konten yang berubah di belakang. System prompt, lalu skema tool, lalu dokumen bersama, lalu riwayat, lalu pertanyaan baru. Timestamp atau daftar tool yang urutannya diacak di bagian atas akan merusak cache untuk semua yang ada setelahnya.

3. Pemangkasan prompt mana yang aman?

Pangkas apa yang tidak dipakai model. Penghematan yang umum: system prompt panjang yang ditulis sebagai prosa, contoh few-shot yang lebih banyak dari kebutuhan tugas, skema tool untuk tool yang tidak pernah dipanggil di langkah itu, JSON bertele-tele padahal tabel ringkas sudah cukup, dan riwayat chat lengkap padahal ringkasan sudah cukup. Retrieval juga bisa melebar: mengirim sepuluh potongan padahal dua sudah menjawab pertanyaan adalah masalah biaya sekaligus kualitas.

Uji setiap pemangkasan dengan set input yang tetap, agar prompt yang lebih murah tidak diam-diam merusak jawaban. Mengurangi token prompt berisi hasil pemangkasan yang terukur untuk masing-masing hal di atas. Bahasa juga berpengaruh: di sebagian besar tokenizer, teks bahasa Arab memakai lebih banyak token per kata daripada bahasa Inggris; lihat token per kata dalam bahasa Arab vs Inggris.

4. Bagaimana cara membatasi output dan penalaran?

Minta lebih sedikit, lalu beri batas. Minta field JSON alih-alih prosa, batas jumlah kata alih-alih “jelaskan”, dan jangan minta model mengulang pertanyaan. Lalu atur max_tokens agar jawaban yang kebablasan berhenti.

Model yang berpikir perlu perhatian khusus. Dokumentasi BroadNet menyebut penalaran ikut dihitung dalam max_tokens, jadi batas yang rendah bisa menghasilkan jawaban kosong. Sisakan 1.000 token atau lebih, dan atur reasoning_effort ke low untuk langkah sederhana. Pada kunci per token, penalaran ditagih sebagai output. Token penalaran: kenapa Anda membayar lebih dari yang terlihat dan solusi jawaban kosong membahas kedua sisinya.

5. Bagaimana memilih model yang lebih murah tanpa mengorbankan kualitas?

Bandingkan biaya per tugas yang berhasil, bukan harga per token. Siapkan 50 sampai 100 input nyata beserta output yang diharapkan, jalankan setiap kandidat, lalu bagi pengeluaran dengan jumlah yang lolos. Model yang lebih murah per token tetapi gagal sepertiga kali bisa jadi lebih mahal setelah Anda menghitung retry dan review manual.

Cek fiturnya dulu. Di BroadNet, tools dan output terstruktur hanya didokumentasikan untuk GLM 5.3 dan Qwen3.8 27B. Gemma 4 VL 26B adalah model teks-dan-gambar BroadNet yang lebih kecil; lihat harganya di tabel di atas untuk tugas sederhana. Banyak aplikasi memakai model kecil untuk langkah mudah dan model lebih besar untuk langkah sulit; Anda sendiri yang memilih model di kode Anda. Cara mengevaluasi LLM sebelum beralih memberi rencana pengujiannya.

Jangan menunggu model Anda saat ini menjadi lebih murah. Penyedia jarang menurunkan harga model yang sudah ada; penghematan biasanya datang bersama versi baru. Lihat riwayat harga API OpenAI vs Anthropic vs Google dan penurunan harga API LLM terbesar.

6. Bisakah pekerjaan yang bisa menunggu dijalankan secara batch atau digeser?

Jika penyedia menawarkannya, bisa, dan diskonnya besar. Semua dicek 2026-11-15:

Penyedia Diskon Syaratnya
OpenAI Batch API 50% dibanding panggilan sinkron Selesai dalam 24 jam; rate limit terpisah
Anthropic Message Batches API 50% Asinkron; sebagian besar batch selesai dalam waktu kurang dari satu jam
API DeepSeek, di luar jam sibuk Tarif di luar jam sibuk separuh tarif jam sibuk Jam sibuk 01.00–04.00 dan 06.00–10.00 UTC, Senin–Jumat

BroadNet Inference tidak punya Batch API maupun harga di luar jam sibuk. Untuk job semalam di BroadNet, jalankan lewat runner yang bisa dilanjutkan di endpoint biasa, dalam batas kunci Anda. Kodenya ada di pemrosesan batch LLM tanpa Batch API. Jika job berjalan berjam-jam, sesi harga tetap bisa lebih murah daripada tokennya (langkah 10).

7. Kapan sebaiknya seluruh jawaban di-cache?

Saat pertanyaan yang sama datang lagi dengan input yang sama. Bot FAQ, klasifikasi item yang berulang, dan menjalankan ulang pipeline setelah crash semuanya mengulang pekerjaan. Cache exact-match dengan kunci berupa model, prompt, dan pengaturan akan mengembalikan jawaban yang tersimpan dan melewati panggilan. Tetapkan masa kedaluwarsa agar jawaban tidak basi. Cache respons LLM di Python menunjukkan implementasi kecilnya.

8. Bagaimana retry dan loop membuang uang?

Permintaan yang dicoba ulang adalah inferensi baru dan ditagih lagi pada kunci per token. Lakukan retry hanya untuk error 429 dan 5xx, dengan exponential backoff dan jitter, dan batasi jumlah percobaannya. Jangan pernah me-retry 400: permintaan buruk yang sama akan gagal dengan cara yang sama.

Agen menambah risiko kedua: loop yang terus memanggil model. Batasi jumlah langkah per tugas dan hentikan saat panggilan tool yang sama berulang. Menangani error 429 dan 10 cara memangkas biaya coding agent membahas keduanya.

9. Bagaimana mencegah tagihan membengkak?

Peringatan memberi tahu setelah kejadian. Batas yang menghentikannya. Pakai saldo prabayar, satu kunci per aplikasi agar Anda bisa mencabut satu kunci tanpa menghentikan yang lain, dan daftar IP yang diizinkan (allow-list) untuk kunci server. Di kode, tetapkan anggaran per job dan berhenti saat anggarannya habis. Kontrol pengeluaran API LLM memaparkan lapisan-lapisannya, dari akun sampai permintaan.

10. Kapan paket harga tetap mengalahkan harga per token?

Saat sebuah agen berjalan hampir sepanjang hari. BroadNet menjual DeepSeek V4.1 Flash per token atau per sesi: Full Moon $60 per bulan, Orbit $15 per minggu, atau Meteor $1 per jam, tanpa meteran token. Satu sesi menjalankan satu permintaan dalam satu waktu.

Skenario hitungan BroadNet untuk penagihan per token:

Beban kerja Per token per bulan Opsi yang lebih murah
Proyek sampingan $14.23 bayar sesuai pemakaian
Asisten harian $42.67 bayar sesuai pemakaian
Coding agent penuh waktu $65.40 Full Moon
Agen yang selalu aktif $196.20 Full Moon

Dengan cache hit 80% dan 20 token input per token output, titik impasnya sekitar 917 juta token input dan 46 juta token output per bulan. Pemakaian ringan tetap lebih murah per token. Lihat hitungan titik impas lengkapnya, atau coba volume Anda di kalkulator harga tetap vs per token.

Langkah mana yang sebaiknya dilewati?

Sebagian saran populer justru lebih mahal daripada penghematannya:

  • Mengompresi prompt sampai rusak. Penghematan input hilang jika kualitas jawaban turun dan pengguna mencoba lagi.
  • Meringkas riwayat di setiap giliran. Setiap ringkasan adalah panggilan tambahan, dan ringkasan mengubah prefix sehingga cache meleset. Ringkas sesekali saja dan tambahkan sisanya di belakang.
  • Mengejar harga per token terendah semata. Rate limit, fitur yang tidak ada, dan tingkat kegagalan semuanya menambah biaya.
  • Self-hosting untuk beban kerja kecil. GPU ditagih per jam, sibuk atau tidak. Biaya self-hosting vs API menunjukkan letak titik impasnya.

Posisi BroadNet Inference

BroadRouter adalah situs web milik BroadNet sendiri, jadi pertimbangkan bagian ini dengan mengingat hal tersebut. BroadNet Inference adalah API kompatibel OpenAI dengan empat model chat berharga per token, input cache di tiga di antaranya, dan paket harga tetap DeepSeek V4.1 Flash untuk pemakaian agen yang stabil. Layanan ini tidak menawarkan Batch API atau tarif di luar jam sibuk, jadi untuk job besar yang bisa menunggu, diskon batch OpenAI atau Anthropic, atau jam di luar jam sibuk DeepSeek, bisa lebih murah. Akun baru mendapat kredit awal $5, yang mencakup Gemma 4 VL 26B, kedua model Transcribe, dan kunci per jam Gemma; DeepSeek, GLM, dan Qwen memerlukan top up. Layanan swalayan tidak memiliki SLA. Lihat harga atau bandingkan paketnya.

Pertanyaan umum

Apa cara tercepat menghemat biaya API LLM?

Mulailah dengan prompt caching. Letakkan system prompt, skema tool, dan dokumen bersama di awal, lalu jaga agar identik byte demi byte di setiap panggilan. Input cache ditagih jauh lebih murah daripada input baru, dan Anda tidak perlu mengubah model maupun fitur. Setelah itu batasi output, karena token output lebih mahal daripada token input.

Apakah Batch API benar-benar memotong harga separuh?

Di OpenAI dan Anthropic, ya. Batch API OpenAI memberi diskon 50% dengan jendela penyelesaian 24 jam, dan Message Batches API Anthropic memangkas biaya 50 persen (keduanya dicek 2026-11-15). BroadNet Inference tidak punya Batch API, jadi jalankan job lewat runner yang bisa dilanjutkan (resumable) di endpoint biasa.

Apakah token penalaran ikut masuk tagihan saya?

Ya, pada kunci yang ditagih per token. Penalaran dilaporkan di completion tokens dan ditagih dengan harga output. Atur reasoning_effort ke low untuk langkah sederhana, tetapi jaga max_tokens di 1.000 atau lebih agar jawabannya tidak terpotong.

Apakah model yang lebih kecil selalu lebih murah?

Per token, biasanya ya. Per tugas, belum tentu. Model kecil yang perlu dua kali retry atau prompt yang lebih panjang bisa lebih mahal daripada model besar yang langsung benar. Bandingkan biaya per tugas yang berhasil di set uji Anda sendiri.

Kapan paket harga tetap lebih murah daripada bayar per token?

Saat pemakaian tinggi dan stabil. Di BroadNet, satu sesi Full Moon berharga $60 per bulan untuk DeepSeek V4.1 Flash. Dengan cache hit 80%, titik impasnya sekitar 917 juta token input dan 46 juta token output per bulan. Di bawah itu, bayar per token lebih murah.

Apakah retry memakan biaya?

Ya. Permintaan yang dicoba ulang adalah inferensi baru dan ditagih lagi pada kunci per token. Lakukan retry hanya untuk error 429 dan 5xx, dengan backoff, dan batasi jumlah percobaannya.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity