BroadRouter
Başlayın

LLM API harcama kontrolü: bütçe, anahtar sınırı, döngü koruması

BroadNet Inference ekibi · 5 dk okuma · Yayımlandı · Güncellendi

LLM API harcamasını katmanlar halinde kontrol edin: hesap tavanı olarak ön ödemeli bakiye, sunucu IP'lerinize kilitlenmiş uygulama başına bir anahtar, her istekte max_tokens ve adım sınırları, bir iş fazla harcamadan önce onu durduran kod içi bütçe. Token'ları anahtar başına kaydedin ve kendi rakamlarınıza göre alarm kurun. Sabit planlar ve saatlik anahtarlar en kötü senaryoyu sınırlar.

LLM faturası sürprizlerinin çoğunun nedeni aynıdır: bir şey, kimse izlemezken API’yi çağırmaya devam etmiştir. Bir yeniden deneme döngüsü, işini bitiremeyen bir ajan, herkese açık bir depoya sızmış bir anahtar. Bütçe alarmları bunu size olaydan sonra bildirir. Bu yazı, hesaptan tek bir isteğe kadar katmanlı bir harcama kontrolü kuruyor ve hangi kısımları BroadNet Inference’ın üstlendiğini, hangilerini kodda sizin eklediğinizi gösteriyor.

Alarmlar neden yeterli değil?

Bir alarm, kullanım kaydedildikten sonra harcamayı bir eşikle karşılaştırır. Bir ajan döngüsü dakikada onlarca istek yapabilir. E-posta geldiğinde para çoktan gitmiştir. Alarmları son savunma hattı olarak kullanın, kesin durdurmayı ise isteğin yapıldığı yere koyun.

LLM harcama kontrolünün katmanları nelerdir?

Katman Kontrol Neyi durdurur Nerede ayarlanır
Hesap Ön ödemeli bakiye Yüklediğinizin ötesindeki harcamayı Sağlayıcı hesabı
Anahtar Uygulama veya ajan başına bir anahtar Tek bir sızıntının her şeyi götürmesini Sağlayıcı portalı
Anahtar IP izin listesi Çalınan bir anahtarın başka yerden kullanılmasını Sağlayıcı portalı
İstek max_tokens, reasoning_effort Tek bir devasa yanıtı Kodunuz
İş Adım sınırı, yeniden deneme sınırı, döngü tespiti Kontrolden çıkan ajanları Kodunuz
İş Görev ve gün başına birikmiş bütçe Çok sayıda çağrıya yayılan yavaş sızıntıları Kodunuz veya proxy
Raporlama Token kaydı ve alarmlar Fark etmeyeceğiniz kaymaları Kayıtlarınız
Fiyatlandırma Sabit plan veya saatlik anahtar Token sayacının kendisini Plan seçimi

Hesap düzeyi: ön ödemeli bakiye harcamayı nasıl sınırlar?

BroadNet Inference kullandıkça öde anahtarları ön ödemeli bir hesap bakiyesinden çeker; yeni hesaplar $5 krediyle ve kart olmadan başlar. Kullandıkça öde kullanım hakkı bittiğinde istekler 401 döndürür; bakiyenin karşılayamadığı bir satın alım (örneğin saatlik anahtar) ise 402 insufficient_balance döndürür. İkisini de yeniden denenecek bir şey olarak değil, dur işareti olarak görün. BroadNet’in hata referansı, 429’un nedenleri arasında harcama sınırını da sayar; bu yüzden herhangi bir 429’u yeniden denemeden önce hata gövdesini okuyun. Tüm hata kodları ve 429’ları geri çekilmeyle ele alma.

Bakiye sizin dış tavanınızdır. Onu bir yıllığına değil, bu ay kaybetmeyi göze aldığınız tutar kadar yükleyin. Bu tutarı belirlemek için önce beklenen trafiğinizi LLM API maliyet hesaplayıcısında çalıştırın.

Anahtar düzeyi: sızan bir anahtarın zararını nasıl sınırlarsınız?

Bir API anahtarı harcama yetkisidir: onu elinde tutan bakiyenizi kullanabilir. Her anahtarın etki alanını sınırlayın:

  1. Uygulama, ajan veya ortam başına bir anahtar. BroadNet hesap başına en fazla 10 etkin anahtara izin verir; her biri en fazla bir yıl geçerlidir. Kayıtlar hangisinin harcadığını söylesin diye anahtarlara ad verin.
  2. Anahtarları sunucularınıza kilitleyin. Çıkış IP’lerinizi veya CIDR aralıklarınızı IP izin listesine ekleyin, en fazla 32 girdi. Diğer adreslerden gelen istekler 403 alır.
  3. Hızlı iptal edin. İptaller ve izin listesi değişiklikleri yeni isteklere beş saniye içinde uygulanır.
  4. Portal kimlik bilgilerini sunuculardan uzak tutun. Bunlar anahtar oluşturabilir ve satın alım yapabilir. Çıkarım anahtarları ise yalnızca model çağırır.

API anahtarlarını IP izin listeleriyle kilitleyin.

İstek düzeyi: her yanıtı nasıl sınırlarsınız?

Her çağrıda max_tokens ayarlayın. Akıl yürütme modellerinde (DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B) bunu 1.000 veya üzerinde tutun; çünkü düşünme aynı bütçeyi paylaşır ve çok düşük bir değer, yine de ödediğiniz boş bir yanıt döndürür. Basit görevlerde reasoning_effort değerini düşürün. Akıl yürütme token’ları nasıl faturalandırılır.

İş düzeyi: kontrolden çıkan bir ajan döngüsünü nasıl durdurursunuz?

Kontrolden çıkan döngülerin tanınabilir işaretleri vardır: aynı araç çağrısının tekrarlanması, her turda büyüyen bağlam ve sınırsız yeniden denenen hatalar. İstemcinin etrafına bir koruma koyun:

import json, os, urllib.request
from openai import OpenAI

# Per-1M prices from BroadNet's machine-readable rate card
card = json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))
m = next(x for x in card["models"] if x["id"] == "broadnet/deepseek-v4.1-flash")
PRICE = {"in": m["input_per_m"], "cached": m["cached_input_per_m"], "out": m["output_per_m"]}
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=3)

class BudgetExceeded(Exception): pass

class Guard:
    def __init__(self, budget_usd, max_steps=40):
        self.budget, self.max_steps, self.spent, self.steps, self.last = budget_usd, max_steps, 0.0, 0, []

    def call(self, **kw):
        self.steps += 1
        if self.steps > self.max_steps: raise BudgetExceeded("step cap")
        if self.spent >= self.budget: raise BudgetExceeded("budget")
        r = client.chat.completions.create(max_tokens=kw.pop("max_tokens", 4000), **kw)
        u = r.usage
        cached = (u.prompt_tokens_details.cached_tokens or 0) if u.prompt_tokens_details else 0
        self.spent += ((u.prompt_tokens - cached) * PRICE["in"] + cached * PRICE["cached"]
                       + u.completion_tokens * PRICE["out"]) / 1e6
        calls = [(t.function.name, t.function.arguments) for t in (r.choices[0].message.tool_calls or [])]
        self.last = (self.last + [calls])[-3:]
        if calls and len(self.last) == 3 and all(c == calls for c in self.last):
            raise BudgetExceeded("same tool call three times")
        return r

Koruma fiyatları sabit kodlamak yerine fiyat listesinden okur; böylece fiyatlar değiştiğinde de doğru kalır. call() fonksiyonuna, fiyatlandırdığınız modelin aynısını verin. max_retries değerini küçük tutun: OpenAI SDK’ları 429 ve 5xx’i zaten yeniden dener ve her yeniden deneme tekrar faturalandırılır.

Bir ekip için aynı kontrolü paylaşılan bir proxy’de çalıştırın; böylece her servis tek bir günlük bütçeden çeker. Yeniden denemeler hız sınırlarına da takılır: hız sınırı hesaplayıcısı anahtarınızın dakikada gerçekte kaç çağrıya izin verdiğini gösterir.

Raporlama: neleri kaydetmeli ve neye alarm kurmalısınız?

Her istek için şunları kaydedin: anahtar takma adı, özellik veya ajan adı, model, prompt_tokens, prompt_tokens_details.cached_tokens, completion_tokens, durum ve X-Request-ID. Akışla çalışırken stream_options: {"include_usage": true} ayarlayın, yoksa kullanım bilgisi hiç gelmez (akış rehberi).

Bu kayıtlardan şunlar için alarm kurun:

  • anahtar başına günlük maliyetin, maliyet tahmininizdeki beklenen rakamın üzerine çıkması;
  • görev başına token’ın medyanın üç katından fazla olması;
  • önbellek payının düşmesi; bu, trafik artmadan maliyeti yükseltir;
  • 429 veya 5xx yanıtlarının oranının artması; bu da yeniden denemeler demektir.

BroadNet istemleri değil; zamanlamalar, token sayıları ve maliyet gibi içerik barındırmayan kayıtları tutar. Bu yüzden özellik bazındaki ayrıntılar sizin kayıtlarınızda yaşar. Veri politikanız yasaklıyorsa istem içeriğini kaydetmekten kaçının. Kullanıcı ve özellik başına maliyetle kullanım kaydı nasıl kurulur.

Fiyatlandırma düzeyi: sabit fiyat bir bütçeyi ne zaman geçer?

En güvenilir harcama kontrolü, değişmeyen bir fiyattır:

  • Plan oturumu: sınırsız DeepSeek V4.1 Flash için ayda $60 (Full Moon), haftada $15 (Orbit) veya saatte $1 (Meteor); aynı anda tek istek. Plan anahtarıyla yapılan istekler bakiyenizden asla çekmez.
  • Saatlik anahtar: tek akışta bir saatlik Gemma 4 VL 26B için $0.50. Sunucularınızın dışına çıkan anahtarlar için uygundur. Saatlik anahtarlar açıklandı.

Plandaki bir döngü para değil zaman harcar. Yine de adım sınırları istersiniz, çünkü takılan bir ajan oturumu başka işlere kapatır. Planın sayaçlı faturanızdan ucuz olup olmadığı hacme bağlıdır; sabit fiyat ve token başına hesaplayıcısı token karışımınız için başa baş noktasını verir.

Token başına ücretler de altınızda yükselebilir. Arşivlenmiş 52 LLM API fiyat artışı, bunun ne sıklıkla, hangi sağlayıcılarda ve ne kadar olduğunu gösteriyor.

Kısa bir kontrol listesi

  1. Aylık sınırınıza göre boyutlandırılmış ön ödemeli bakiye.
  2. Uygulama başına, IP izin listeli, adlandırılmış bir anahtar.
  3. Her istekte max_tokens.
  4. Her ajanda adım sınırı, yeniden deneme sınırı ve tekrarlanan çağrı tespiti.
  5. Her çağrıdan önce kontrol edilen, iş başına birikmiş maliyet.
  6. Eşiklerinize göre alarmlı, istek başına token kaydı.
  7. Kullanımın sürekli olduğu veya anahtarın açıkta kaldığı her yerde sabit plan ya da saatlik anahtar.

BroadNet Inference nereye oturuyor

BroadNet size hesap ve anahtar katmanlarını verir: ön ödemeli bakiye, ayrı anahtarlar, saniyeler içinde iptal edilebilen IP izin listeleri, sabit fiyatlı planlar ve saatlik anahtarlar. Bu yazıdaki iş düzeyi bütçeleri sağlamaz; onlar kodunuzda veya proxy’nizde yer alır. Birçok sağlayıcıda ekip başına bütçelere ihtiyacınız varsa, hepsinin önüne konan bir ağ geçidi doğru araçtır. Fiyatları okuyun.

Sık sorulan sorular

Bir LLM API'sinde harcama sınırı nasıl belirlenir?

Dış sınır olarak sağlayıcının ön ödemeli bakiyesini veya harcama sınırını kullanın; ardından her istekten önce kodunuzda kendi iş başına ve gün başına bütçenizi uygulayın, çünkü sağlayıcı sınırları ve alarmları hızlı bir döngünün gerisinde kalabilir.

Bir yapay zeka ajanının devasa fatura çıkarmasını nasıl önlerim?

Görev başına adımları ve yeniden denemeleri sınırlayın, her istekte max_tokens ayarlayın, tekrarlanan aynı araç çağrılarını tespit edin ve işin birikmiş maliyeti bütçeyi aştığında işi durdurun.

Bakiyem bittiğinde 401 veya 402 hatasını yeniden denemeli miyim?

Hayır. BroadNet'te tükenmiş bir kullandıkça öde kullanım hakkı 401 döndürür; 402 insufficient_balance ise hesabın saatlik anahtar gibi bir satın alımı karşılayamadığı anlamına gelir. Önce hesaba bakiye yükleyin. Bunun yerine 429 ve 5xx hatalarını geri çekilmeyle yeniden deneyin.

LLM harcamasını izlemek için neleri kaydetmeliyim?

İstek başına anahtar takma adını, özellik veya ajan adını, modeli, prompt_tokens, cached_tokens, completion_tokens değerlerini, durum kodunu ve istek kimliğini kaydedin. Maliyeti bulmak için fiyat dosyasıyla çarpın.

Sabit fiyatlı bir plan bir harcama kontrolü biçimi midir?

Evet. Bir plan oturumu veya saatlik anahtar, ne kadar token kullanırsa kullansın aynı tutar; bu yüzden bir döngü size para değil zaman kaybettirir.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor