Kinokontrol ng rate limit kung gaano kabilis ka puwedeng gumastos. Kinokontrol ng spend limit kung magkano.
Paano ito gumagana
Patong-patong na cap ang inilalagay ng mga provider. Dalawang dokumentadong halimbawa:
| Provider | Kontrol | Ano ang nangyayari kapag naabot |
|---|---|---|
| Anthropic | Tier spend cap kada calendar month (Start, Build, Scale; wala sa Custom) | Huminto ang paggamit hanggang 00:00 UTC sa unang araw ng susunod na buwan; HTTP 429 rate_limit_error na may error.details.error_code na enforced_spend_limit_reached, walang retry-after |
| Anthropic | Sarili mong mas mababang limit, sa organisasyon o workspace | HTTP 400 invalid_request_error, may message na nagsisimula sa “You have reached your specified API usage limits” |
| OpenAI | Buwanang usage limit kada tier | Hindi inilarawan sa gabay |
| OpenAI | Spend alert | Nagpapadala ng abiso; tuloy ang traffic |
| OpenAI | Hard spend limit, sa organisasyon o project | Nagbabalik ng 429 ang mga apektadong request |
USD 500 (Start), USD 1,000 (Build) at USD 200,000 (Scale) kada buwan ang mga tier cap ng Anthropic. Inililista ng gabay ng OpenAI ang buwanang usage limit kada tier, mula USD 100 sa Free hanggang USD 200,000 sa Grow, at sinasabing tumataas ang tier habang lumalampas sa mga threshold ang kabuuang biniling credit.
Ang mahirap dito, kamukha ng rate-limit 429 ang spend-limit 429. Sa API ng Anthropic, ang error code ang nagpapaiba sa dalawa, at walang retry-after header ang response sa spend cap:
err = resp.json().get("error", {})
if resp.status_code == 429 and err.get("details", {}).get("error_code") == "enforced_spend_limit_reached":
stop_job_and_alert() # retrying will not help
elif resp.status_code == 429:
backoff_and_retry()
Bakit ito mahalaga
- Huli ang mga alert. Malaki ang puwedeng magastos ng mabilis na loop bago dumating ang email. Ang hard cap ang pumipigil dito.
- Lalong lumalala sa retry. Walang saysay na pupukpukin ang spend cap ng client na nagba-back off at nagre-retry sa bawat 429. Paghiwalayin ang dalawa.
- Shared na cap. Kapag iisang cap sa antas ng account ang pinaghahatian ng maraming app, puwedeng harangin ng isang nagwawalang job ang iba. Pinaghihiwalay sila ng budget kada project o ng sarili mong budget sa code.
Sa BroadNet Inference
Anim na limit sa pay-as-you-go key ang inililista ng API reference ng BroadNet. Ang tatlong naglilimita sa gastos at throughput ay 30 request kada minuto, 4 na sabay-sabay, at gastos, na binibigyang-kahulugan bilang “the native budget shared by the account’s pay-as-you-go keys” (Salin ng BroadRouter: “ang native budget na pinaghahatian ng mga pay-as-you-go key ng account”); ang iba ay ang mga pinapayagang model, isang taong buhay ng key, at hanggang sampung aktibong key kada account. Prepaid ang account, kaya ang balance ang panlabas na cap. Dalawang status code ang mahalaga:
- 429: “A rate, concurrency, token-rate or spending limit was reached.” (Salin ng BroadRouter: “Naabot ang rate, concurrency, token-rate o spending limit.”)
- 401: nawawala, invalid o expired na key, o account na naka-block ang shared na pay-as-you-go budget (ang wording ng docs ay “a blocked native PAYG budget holder”), “including exhausted PAYG allowance” (Salin ng BroadRouter: “kasama ang naubos na PAYG allowance”).
Sabi ng privacy page ng BroadNet, naka-scope ang mga key ayon sa model, rate at gastos, pero walang setting ng budget kada key o kada project sa API reference, kaya maglagay ng tumatakbong budget check sa sarili mong code bago ang bawat request, gaya ng sa LLM API spend control. Para sa takdang pinakamasamang kaso, nililimitahan na ng disenyo ang gastos sa isang flat-rate plan o hourly key na $0.50. Nasa gabay sa errors at retries ang paghawak ng retry.