BroadRouter

Spend limit (batas pengeluaran)

Diperbarui

Spend limit adalah batas jumlah yang boleh dibelanjakan sebuah akun, proyek, atau key API dalam satu periode, biasanya sebulan. Saat pemakaian mencapai batas, penyedia menolak permintaan berikutnya, sering dengan error HTTP 429 atau 400, sampai periode di-reset atau batasnya dinaikkan.

Disebut juga: spend limit, batas pengeluaran, batas biaya API, batas anggaran, limit pemakaian, spending limit, spend cap, budget cap, usage cap

Rate limit mengatur seberapa cepat Anda bisa berbelanja. Spend limit mengatur seberapa banyak.

Cara kerjanya

Penyedia menumpuk beberapa lapis batas. Dua contoh yang terdokumentasi:

Penyedia Kontrol Yang terjadi saat tercapai
Anthropic Batas pengeluaran per tier per bulan kalender (Start, Build, Scale; Custom tidak punya) Pemakaian dihentikan sampai pukul 00:00 UTC tanggal satu bulan berikutnya; HTTP 429 rate_limit_error dengan error.details.error_code enforced_spend_limit_reached, tanpa retry-after
Anthropic Batas lebih rendah yang Anda tetapkan sendiri, untuk organisasi atau workspace HTTP 400 invalid_request_error, pesan diawali “You have reached your specified API usage limits”
OpenAI Batas pemakaian bulanan per tier Tidak dijelaskan di panduan
OpenAI Spend alert Mengirim notifikasi; trafik tetap berjalan
OpenAI Hard spend limit, untuk organisasi atau proyek Permintaan yang terdampak mengembalikan 429

Batas per tier Anthropic adalah USD 500 (Start), USD 1.000 (Build), dan USD 200.000 (Scale) per bulan. Panduan OpenAI mencantumkan batas pemakaian bulanan per tier, dari USD 100 di Free hingga USD 200.000 di Grow, dan menyatakan tier naik saat total pembelian kredit melewati ambang tertentu.

Bagian yang rumit: 429 karena spend limit terlihat sama dengan 429 karena rate limit. Di API Anthropic, kode error-nya yang membedakan, dan respons batas pengeluaran tidak punya header retry-after:

err = resp.json().get("error", {})
if resp.status_code == 429 and err.get("details", {}).get("error_code") == "enforced_spend_limit_reached":
    stop_job_and_alert()      # retrying will not help
elif resp.status_code == 429:
    backoff_and_retry()

Mengapa penting

  • Alert datang terlambat. Loop yang cepat bisa menghabiskan banyak uang sebelum email sampai. Batas keras (hard cap) menghentikannya.
  • Retry memperburuk keadaan. Klien yang melakukan backoff dan retry untuk setiap 429 akan menghantam spend limit tanpa guna. Bedakan keduanya.
  • Batas bersama. Batas level akun yang dipakai banyak aplikasi membuat satu job yang lepas kendali bisa memblokir yang lain. Anggaran per proyek atau anggaran di kode Anda sendiri menjaga semuanya terpisah.

Di BroadNet Inference

Referensi API BroadNet mencantumkan enam batas pada key bayar sesuai pemakaian. Tiga yang membatasi biaya dan throughput adalah 30 permintaan per menit, 4 permintaan berjalan bersamaan, dan pengeluaran, yang didefinisikan sebagai “the native budget shared by the account’s pay-as-you-go keys” (Terjemahan BroadRouter: anggaran native yang dipakai bersama oleh key bayar sesuai pemakaian di akun itu); sisanya adalah model yang diizinkan, masa berlaku key satu tahun, dan maksimal sepuluh key aktif per akun. Akunnya prabayar, jadi saldo adalah batas terluar. Dua kode status yang penting:

  • 429: “A rate, concurrency, token-rate or spending limit was reached.” (Terjemahan BroadRouter: batas laju, konkurensi, laju token, atau pengeluaran telah tercapai.)
  • 401: key yang tidak ada, tidak valid, atau kedaluwarsa, atau akun yang anggaran bayar sesuai pemakaian bersamanya diblokir (dokumentasinya memakai frasa “a blocked native PAYG budget holder”), “including exhausted PAYG allowance” (Terjemahan BroadRouter: termasuk jatah PAYG yang sudah habis).

Halaman privasi BroadNet menyebut key dibatasi berdasarkan model, laju, dan pengeluaran, tetapi referensi API tidak menunjukkan pengaturan anggaran per key atau per proyek, jadi pasang pengecekan anggaran berjalan di kode Anda sendiri sebelum setiap permintaan, seperti di kontrol pengeluaran API LLM. Untuk skenario terburuk yang pasti, paket harga tetap atau key per jam seharga $0.50 membatasi pengeluaran secara desain. Penanganan retry ada di panduan error dan retry.

Pertanyaan umum

Perlukah saya me-retry permintaan yang terkena spend limit?

Tidak. Anthropic menyatakan 429 karena batas pengeluaran tidak membawa header retry-after dan retry akan terus gagal sampai akses dibuka kembali. Beri tahu manusia atau hentikan job-nya.

Apakah spend alert sama dengan spend limit?

Tidak. OpenAI membedakan spend alert, yang hanya mengirim notifikasi dan membiarkan trafik tetap berjalan, dari hard spend limit, yang membuat permintaan mengembalikan 429.

Bisakah saya mengatur anggaran terpisah per key BroadNet?

Halaman privasi BroadNet menyebut API key yang dibatasi lingkupnya mengontrol akses berdasarkan model, laju, dan pengeluaran, tetapi referensi API-nya mendokumentasikan pengeluaran key bayar sesuai pemakaian sebagai anggaran native yang dipakai bersama oleh key di akun itu, dan tidak menunjukkan pengaturan anggaran per key. Cek detail key Anda, dan terapkan anggaran per aplikasi di kode Anda sendiri.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity