Kebanyakan kejutan bil LLM mempunyai punca yang sama: sesuatu terus memanggil API tanpa sesiapa memerhati. Gelung percubaan semula, ejen yang tidak dapat selesai, kunci yang bocor di repositori awam. Amaran bajet memberitahu anda selepas kejadian. Artikel ini membina kawalan perbelanjaan secara berlapis, dari akaun hingga satu permintaan, dan menunjukkan bahagian mana yang dikendalikan oleh BroadNet Inference dan bahagian mana yang anda tambah dalam kod.
Mengapakah amaran tidak mencukupi?
Amaran membandingkan perbelanjaan dengan ambang selepas penggunaan direkodkan. Gelung ejen boleh membuat berpuluh-puluh permintaan seminit. Apabila e-mel tiba, wang sudah habis. Gunakan amaran sebagai benteng terakhir, dan letakkan hentian tegas di tempat permintaan dibuat.
Apakah lapisan kawalan perbelanjaan LLM?
| Lapisan | Kawalan | Menghalang | Di mana anda menetapkannya |
|---|---|---|---|
| Akaun | Baki prabayar | Perbelanjaan melebihi dana yang anda masukkan | Akaun penyedia |
| Kunci | Satu kunci setiap aplikasi atau ejen | Satu kebocoran menghabiskan segalanya | Portal penyedia |
| Kunci | Senarai IP dibenarkan | Kunci curi digunakan di tempat lain | Portal penyedia |
| Permintaan | max_tokens, reasoning_effort |
Satu jawapan yang sangat besar | Kod anda |
| Kerja | Had langkah, had percubaan semula, pengesanan gelung | Ejen yang terlepas kawalan | Kod anda |
| Kerja | Bajet berjalan setiap tugasan dan setiap hari | Kebocoran perlahan merentas banyak panggilan | Kod atau proksi anda |
| Pelaporan | Log token dan amaran | Hanyutan yang tidak anda sedari | Log anda |
| Harga | Pelan tetap atau kunci sejam | Meter token itu sendiri | Pilihan pelan |
Peringkat akaun: bagaimanakah baki prabayar mengehadkan perbelanjaan?
Kunci bayar ikut guna BroadNet Inference menggunakan baki akaun prabayar; akaun baharu bermula dengan kredit $5 tanpa kad. Apabila peruntukan bayar ikut guna habis, permintaan memulangkan 401, dan pembelian yang tidak dapat ditampung oleh baki (seperti kunci sejam) memulangkan 402 insufficient_balance. Anggap kedua-duanya sebagai isyarat berhenti, bukan sesuatu untuk dicuba semula. Rujukan ralat BroadNet juga menyenaraikan had perbelanjaan antara punca 429, jadi baca badan ralat sebelum anda mencuba semula sebarang 429. Semua kod ralat dan cara mengendalikan 429 dengan backoff.
Baki ialah siling luar anda. Isikannya mengikut jumlah yang sanggup anda hilang bulan ini, bukan untuk setahun. Untuk menentukan angka itu, jalankan trafik yang dijangka melalui kalkulator kos API LLM dahulu.
Peringkat kunci: bagaimanakah mengehadkan kerosakan kunci yang bocor?
Kunci API ialah kuasa untuk berbelanja: sesiapa yang memegangnya boleh menggunakan baki anda. Hadkan radius letupan setiap kunci:
- Satu kunci setiap aplikasi, ejen atau persekitaran. BroadNet membenarkan sehingga 10 kunci aktif setiap akaun, setiap satu sah sehingga setahun. Namakannya supaya log memberitahu anda kunci mana yang berbelanja.
- Kunci kunci pada pelayan anda. Tambah IP keluar atau julat CIDR anda pada senarai IP dibenarkan, sehingga 32 entri. Permintaan dari alamat lain mendapat 403.
- Batalkan dengan pantas. Pembatalan dan perubahan senarai dibenarkan terpakai pada permintaan baharu dalam masa lima saat.
- Jauhkan kelayakan portal daripada pelayan. Kelayakan itu boleh mencipta kunci dan membuat pembelian. Kunci inferens hanya memanggil model.
Kunci API dengan senarai IP dibenarkan.
Peringkat permintaan: bagaimanakah mengehadkan setiap jawapan?
Tetapkan max_tokens pada setiap panggilan. Pada model penaakulan (DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B), kekalkannya pada 1,000 atau lebih, kerana pemikiran berkongsi bajet yang sama dan nilai yang terlalu rendah memulangkan jawapan kosong yang tetap anda bayar. Rendahkan reasoning_effort pada tugasan mudah. Cara token penaakulan dibilkan.
Peringkat kerja: bagaimanakah menghentikan gelung ejen yang terlepas kawalan?
Gelung yang terlepas kawalan mempunyai tanda yang mudah dikenali: panggilan alat yang sama berulang, konteks yang membesar setiap giliran, dan ralat yang dicuba semula tanpa had. Letakkan pengawal di sekeliling klien:
import json, os, urllib.request
from openai import OpenAI
# Per-1M prices from BroadNet's machine-readable rate card
card = json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))
m = next(x for x in card["models"] if x["id"] == "broadnet/deepseek-v4.1-flash")
PRICE = {"in": m["input_per_m"], "cached": m["cached_input_per_m"], "out": m["output_per_m"]}
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=3)
class BudgetExceeded(Exception): pass
class Guard:
def __init__(self, budget_usd, max_steps=40):
self.budget, self.max_steps, self.spent, self.steps, self.last = budget_usd, max_steps, 0.0, 0, []
def call(self, **kw):
self.steps += 1
if self.steps > self.max_steps: raise BudgetExceeded("step cap")
if self.spent >= self.budget: raise BudgetExceeded("budget")
r = client.chat.completions.create(max_tokens=kw.pop("max_tokens", 4000), **kw)
u = r.usage
cached = (u.prompt_tokens_details.cached_tokens or 0) if u.prompt_tokens_details else 0
self.spent += ((u.prompt_tokens - cached) * PRICE["in"] + cached * PRICE["cached"]
+ u.completion_tokens * PRICE["out"]) / 1e6
calls = [(t.function.name, t.function.arguments) for t in (r.choices[0].message.tool_calls or [])]
self.last = (self.last + [calls])[-3:]
if calls and len(self.last) == 3 and all(c == calls for c in self.last):
raise BudgetExceeded("same tool call three times")
return r
Pengawal ini membaca harga daripada kad kadar dan bukannya menetapkannya secara tegar dalam kod, jadi ia kekal betul apabila harga berubah. Hantar model yang sama kepada call() seperti yang anda hargakan. Kekalkan max_retries kecil: SDK OpenAI sudah mencuba semula 429 dan 5xx, dan setiap percubaan semula dibilkan sekali lagi.
Bagi satu pasukan, jalankan semakan yang sama dalam proksi bersama supaya setiap perkhidmatan menggunakan satu bajet harian. Percubaan semula juga terlanggar had kadar: kalkulator had kadar menunjukkan berapa banyak panggilan seminit yang sebenarnya dibenarkan oleh kunci anda.
Pelaporan: apakah yang patut dilog dan diberi amaran?
Log, bagi setiap permintaan: alias kunci, nama ciri atau ejen, model, prompt_tokens, prompt_tokens_details.cached_tokens, completion_tokens, status dan X-Request-ID. Semasa penstriman, tetapkan stream_options: {"include_usage": true} atau usage tidak akan tiba (panduan penstriman).
Daripada log itu, beri amaran apabila:
- kos harian setiap kunci melebihi angka jangkaan daripada anggaran kos anda;
- token setiap tugasan melebihi tiga kali median;
- bahagian cache menurun, yang menaikkan kos tanpa trafik tambahan;
- kadar respons 429 atau 5xx meningkat, yang bermaksud ada percubaan semula.
BroadNet menyimpan rekod tanpa kandungan seperti masa, bilangan token dan kos, bukan prompt, jadi butiran setiap ciri berada dalam log anda sendiri. Elakkan melog kandungan prompt jika dasar data anda melarangnya. Cara membina log penggunaan dengan kos setiap pengguna dan ciri.
Peringkat harga: bilakah harga tetap lebih baik daripada bajet?
Kawalan perbelanjaan yang paling boleh dipercayai ialah harga yang tidak berubah:
- Sesi pelan: $60 sebulan (Full Moon), $15 seminggu (Orbit) atau $1 sejam (Meteor) untuk DeepSeek V4.1 Flash tanpa had, satu permintaan pada satu masa. Permintaan pada kunci pelan tidak pernah menggunakan baki anda.
- Kunci sejam: $0.50 untuk satu jam Gemma 4 VL 26B pada satu strim. Sesuai untuk kunci yang keluar dari pelayan anda. Kunci sejam dijelaskan.
Gelung pada pelan membazirkan masa, bukan wang. Anda masih memerlukan had langkah, kerana ejen yang tersekat menghalang sesi untuk kerja lain. Sama ada pelan lebih murah daripada bil bermeter anda bergantung pada volum; kalkulator kadar tetap vs setiap token memberi titik pulang modal untuk campuran token anda.
Kadar setiap token juga boleh naik tanpa anda sedari. 52 kenaikan harga API LLM yang diarkibkan menunjukkan betapa kerapnya ia berlaku, di penyedia mana dan berapa banyak.
Senarai semak ringkas
- Baki prabayar disaiz mengikut had bulanan anda.
- Satu kunci bernama setiap aplikasi, dengan senarai IP dibenarkan.
max_tokenspada setiap permintaan.- Had langkah, had percubaan semula dan pengesanan panggilan berulang pada setiap ejen.
- Kos berjalan setiap kerja, disemak sebelum setiap panggilan.
- Log token setiap permintaan, dengan amaran pada ambang anda.
- Pelan tetap atau kunci sejam di mana sahaja penggunaan berterusan atau kunci terdedah.
Di manakah BroadNet Inference sesuai
BroadNet memberi anda lapisan akaun dan kunci: baki prabayar, kunci berasingan, senarai IP dibenarkan dengan pembatalan dalam beberapa saat, serta pelan harga tetap dan kunci sejam. Ia tidak menyediakan bajet peringkat kerja dalam artikel ini; itu tergolong dalam kod atau proksi anda. Jika anda memerlukan bajet setiap pasukan merentas banyak penyedia, gateway di hadapan kesemuanya ialah alat yang tepat. Baca harga.
