Sebagian besar kejutan tagihan LLM punya penyebab yang sama: sesuatu terus memanggil API tanpa ada yang mengawasi. Loop retry, agen yang tidak bisa menyelesaikan tugasnya, kunci yang bocor di repositori publik. Alert anggaran memberi tahu Anda setelah kejadian. Artikel ini membangun kontrol biaya secara berlapis, dari tingkat akun hingga satu permintaan, dan menunjukkan bagian mana yang ditangani BroadNet Inference dan mana yang Anda tambahkan di kode.
Kenapa alert saja tidak cukup?
Alert membandingkan pengeluaran dengan ambang batas setelah pemakaian tercatat. Loop agen bisa membuat puluhan permintaan per menit. Saat email tiba, uangnya sudah terpakai. Jadikan alert sebagai pengaman terakhir, dan taruh penghentian tegas di tempat permintaan dibuat.
Apa saja lapisan kontrol biaya LLM?
| Lapisan | Kontrol | Mencegah | Diatur di |
|---|---|---|---|
| Akun | Saldo prabayar | Pengeluaran melebihi dana yang Anda isi | Akun penyedia |
| Kunci | Satu kunci per aplikasi atau agen | Satu kebocoran menghabiskan semuanya | Portal penyedia |
| Kunci | IP allow-list | Kunci curian dipakai di tempat lain | Portal penyedia |
| Permintaan | max_tokens, reasoning_effort |
Satu balasan yang sangat besar | Kode Anda |
| Job | Batas langkah, batas retry, deteksi loop | Agen yang lepas kendali | Kode Anda |
| Job | Anggaran berjalan per tugas dan per hari | Kebocoran pelan di banyak panggilan | Kode atau proxy Anda |
| Pelaporan | Pencatatan token dan alert | Pergeseran yang tidak Anda sadari | Log Anda |
| Harga | Paket harga tetap atau kunci per jam | Meteran token itu sendiri | Pilihan paket |
Tingkat akun: bagaimana saldo prabayar membatasi biaya?
Kunci bayar sesuai pemakaian BroadNet Inference memotong saldo akun prabayar; akun baru mulai dengan kredit $5 tanpa kartu. Saat jatah bayar sesuai pemakaian habis, permintaan mengembalikan 401, dan pembelian yang tidak bisa ditutup saldo (misalnya kunci per jam) mengembalikan 402 insufficient_balance. Anggap keduanya sebagai tanda berhenti, bukan sesuatu untuk dicoba ulang. Referensi error BroadNet juga mencantumkan batas pengeluaran sebagai salah satu penyebab 429, jadi baca body error sebelum mencoba ulang 429 apa pun. Semua kode error dan cara menangani 429 dengan backoff.
Saldo adalah plafon terluar Anda. Isi sebesar yang rela Anda hilangkan bulan ini, bukan untuk setahun. Untuk menentukan angkanya, jalankan dulu perkiraan trafik Anda di kalkulator biaya API LLM.
Tingkat kunci: bagaimana membatasi kerusakan akibat kunci yang bocor?
Kunci API adalah wewenang membelanjakan: siapa pun yang memegangnya bisa memakai saldo Anda. Batasi jangkauan dampak setiap kunci:
- Satu kunci per aplikasi, agen, atau environment. BroadNet mengizinkan hingga 10 kunci aktif per akun, masing-masing berlaku hingga satu tahun. Beri nama agar log memberi tahu kunci mana yang membelanjakan.
- Kunci ke server Anda. Tambahkan IP egress atau rentang CIDR Anda ke IP allow-list, hingga 32 entri. Permintaan dari alamat lain mendapat 403.
- Cabut dengan cepat. Pencabutan dan perubahan allow-list berlaku untuk permintaan baru dalam lima detik.
- Jauhkan kredensial portal dari server. Kredensial itu bisa membuat kunci dan melakukan pembelian. Kunci inferensi hanya memanggil model.
Kunci API dengan IP allow-list.
Tingkat permintaan: bagaimana membatasi setiap balasan?
Atur max_tokens di setiap panggilan. Pada model penalaran (DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B), pertahankan di 1.000 atau lebih, karena proses berpikir berbagi anggaran yang sama dan nilai yang terlalu rendah mengembalikan balasan kosong yang tetap Anda bayar. Turunkan reasoning_effort untuk tugas sederhana. Cara token penalaran ditagih.
Tingkat job: bagaimana menghentikan loop agen yang lepas kendali?
Loop yang lepas kendali punya tanda yang mudah dikenali: tool call yang sama berulang, konteks yang membesar di setiap giliran, dan error yang dicoba ulang tanpa batas. Pasang pengaman di sekeliling client:
import json, os, urllib.request
from openai import OpenAI
# Per-1M prices from BroadNet's machine-readable rate card
card = json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))
m = next(x for x in card["models"] if x["id"] == "broadnet/deepseek-v4.1-flash")
PRICE = {"in": m["input_per_m"], "cached": m["cached_input_per_m"], "out": m["output_per_m"]}
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=3)
class BudgetExceeded(Exception): pass
class Guard:
def __init__(self, budget_usd, max_steps=40):
self.budget, self.max_steps, self.spent, self.steps, self.last = budget_usd, max_steps, 0.0, 0, []
def call(self, **kw):
self.steps += 1
if self.steps > self.max_steps: raise BudgetExceeded("step cap")
if self.spent >= self.budget: raise BudgetExceeded("budget")
r = client.chat.completions.create(max_tokens=kw.pop("max_tokens", 4000), **kw)
u = r.usage
cached = (u.prompt_tokens_details.cached_tokens or 0) if u.prompt_tokens_details else 0
self.spent += ((u.prompt_tokens - cached) * PRICE["in"] + cached * PRICE["cached"]
+ u.completion_tokens * PRICE["out"]) / 1e6
calls = [(t.function.name, t.function.arguments) for t in (r.choices[0].message.tool_calls or [])]
self.last = (self.last + [calls])[-3:]
if calls and len(self.last) == 3 and all(c == calls for c in self.last):
raise BudgetExceeded("same tool call three times")
return r
Pengaman ini membaca harga dari daftar tarif alih-alih menuliskannya langsung di kode, jadi tetap benar saat harga berubah. Berikan ke call() model yang sama dengan yang Anda hitung harganya. Jaga max_retries tetap kecil: SDK OpenAI sudah mencoba ulang 429 dan 5xx, dan setiap retry ditagih lagi.
Untuk tim, jalankan pengecekan yang sama di proxy bersama agar setiap layanan memakai satu anggaran harian. Retry juga bisa menabrak rate limit: kalkulator rate limit menunjukkan berapa panggilan per menit yang benar-benar diizinkan kunci Anda.
Pelaporan: apa yang perlu dicatat dan dipasangi alert?
Catat, untuk setiap permintaan: alias kunci, nama fitur atau agen, model, prompt_tokens, prompt_tokens_details.cached_tokens, completion_tokens, status, dan X-Request-ID. Saat streaming, atur stream_options: {"include_usage": true}, kalau tidak data pemakaian tidak pernah sampai (panduan streaming).
Dari log itu, pasang alert untuk:
- biaya harian per kunci di atas angka yang diharapkan dari perkiraan biaya Anda;
- token per tugas lebih dari tiga kali median;
- porsi cache yang turun, yang menaikkan biaya tanpa tambahan trafik;
- naiknya tingkat respons 429 atau 5xx, yang berarti ada retry.
BroadNet menyimpan catatan tanpa konten seperti waktu, jumlah token, dan biaya, bukan prompt, jadi detail per fitur ada di log Anda sendiri. Hindari mencatat isi prompt jika kebijakan data Anda melarangnya. Cara membangun pencatatan pemakaian dengan biaya per user dan per fitur.
Tingkat harga: kapan harga tetap lebih baik daripada anggaran?
Kontrol biaya yang paling andal adalah harga yang tidak bergerak:
- Sesi paket: $60 per bulan (Full Moon), $15 per minggu (Orbit), atau $1 per jam (Meteor) untuk DeepSeek V4.1 Flash unlimited, satu permintaan dalam satu waktu. Permintaan dengan kunci paket tidak pernah memotong saldo Anda.
- Kunci per jam: $0.50 untuk satu jam Gemma 4 VL 26B pada satu stream. Cocok untuk kunci yang keluar dari server Anda. Penjelasan kunci per jam.
Loop di paket membuang waktu, bukan uang. Anda tetap butuh batas langkah, karena agen yang macet menghalangi sesi untuk pekerjaan lain. Apakah paket lebih murah daripada tagihan meteran Anda tergantung volumenya; kalkulator harga tetap vs per token memberikan titik impas untuk campuran token Anda.
Tarif per token juga bisa naik sewaktu-waktu. 52 kenaikan harga API LLM yang terarsip menunjukkan seberapa sering hal itu terjadi, di penyedia mana, dan berapa besarnya.
Checklist singkat
- Saldo prabayar sesuai batas bulanan Anda.
- Satu kunci bernama per aplikasi, dengan IP allow-list.
max_tokensdi setiap permintaan.- Batas langkah, batas retry, dan deteksi panggilan berulang di setiap agen.
- Biaya berjalan per job, dicek sebelum setiap panggilan.
- Pencatatan token per permintaan, dengan alert pada ambang Anda.
- Paket harga tetap atau kunci per jam di mana pun pemakaiannya terus-menerus atau kuncinya terekspos.
Posisi BroadNet Inference
BroadNet memberi Anda lapisan akun dan kunci: saldo prabayar, kunci terpisah, IP allow-list dengan pencabutan dalam hitungan detik, serta paket harga tetap dan kunci per jam. BroadNet tidak menyediakan anggaran tingkat job seperti di artikel ini; itu tempatnya di kode atau proxy Anda. Jika Anda membutuhkan anggaran per tim di banyak penyedia, gateway di depan semuanya adalah alat yang tepat. Baca harganya.
