Paylaşılan her API kendini sınırlarla korur. Hangilerinin geçerli olduğunu bilmek, ne kadar hızlı gidebileceğinizi ve birine takıldığınızda ne yapmanız gerektiğini gösterir.
Nasıl çalışır
LLM API’leri aynı anda birkaç şeyi ölçer. Örneğin OpenAI şunları listeler:
- RPM: dakika başına istek
- RPD: gün başına istek
- TPM: dakika başına token
- TPD: gün başına token
Hangi sınıra önce ulaşırsanız o geçerli olur. Birçok sağlayıcı ayrıca eşzamanlılığı, yani işlemdeki istek sayısını sınırlar.
Sınır aşıldığında sunucu 429 Too Many Requests döndürür. MDN bunu istemcinin “sent too many requests in a given amount of time” (çeviri: belirli bir süre içinde çok fazla istek gönderdiği) durum olarak tanımlar. Bir Retry-After başlığı kaç saniye beklenmesi gerektiğini söyleyebilir.
Güvenli bir yeniden deneme döngüsü:
import random, time
for attempt in range(5):
r = send()
if r.status_code != 429:
break
wait = float(r.headers.get("Retry-After", 2 ** attempt))
time.sleep(wait + random.random())
Resmi OpenAI SDK’ları 429 ve 5xx hatalarını zaten geri çekilmeyle yeniden dener; kendi döngünüzü yazmak yerine max_retries ayarlayın.
Neden önemli
- İşlem hacmi. Gerçek tavanınız tüm sınırların en düşüğüdür. BroadNet’in kullandıkça öde anahtarlarında olduğu gibi dakikada 30 istekle sınırlı bir anahtarda 1.000 istek, model ne kadar hızlı olursa olsun en az 1.000 ÷ 30 dakika sürer. Hız sınırı hesaplayıcısı bu hesabı kendi sınırlarınız için yapar.
- Güvenilirlik. Ele alınmayan 429’lar kesinti gibi görünür. Geri çekilme bunları kısa gecikmelere dönüştürür.
- Maliyet. Bazı sağlayıcılar harcama sınırları için de 429 döndürür; bu, kullandıkça öde anahtarlarında yaygındır. Yeniden denemeden önce hata gövdesini okuyun.
BroadNet Inference’ta
| Anahtar türü | Sınırlar |
|---|---|
| Kullandıkça öde | Dakikada 30 istek, aynı anda işlemde 4 istek |
| Saatlik anahtar | Dakikada 120 istek, tek akış, dakikada 300,000 token |
| Sınırsız plan | Oturum başına aynı anda tek istek, token sayacı yok |
BroadNet; hız, eşzamanlılık, token hızı veya harcama sınırına ulaşıldığında 429 döndürür. Bekleyin ve yeniden deneyin. Hatalar ve yeniden denemeler rehberi her durum kodunu ele alıyor; sınırsız LLM API gerçekte ne demek yazısı da sabit fiyatlı bir planda hangi sınırların kaldığını açıklıyor.
Sık yapılan hatalar
- 401 veya 403 hatalarını yeniden denemek. Bunlar hız sınırı değil, anahtar veya politika sorunlarıdır.
- Ortak bir sınırlayıcı olmadan tek bir anahtarda çok sayıda worker çalıştırmak. Her worker tek başına geri çekilirken diğerleri anahtarı doygun tutmaya devam eder.