BroadRouter
Başlayın

Hız sınırı (rate limit)

Güncellendi

Hız sınırı (rate limit), bir API'nin bir istemcinin belirli bir zaman aralığındaki kullanımına koyduğu üst sınırdır; örneğin dakika başına istek veya dakika başına token. Sınırı aşan istekler, kullanım tekrar sınırın altına inene kadar genellikle HTTP 429 Too Many Requests ile reddedilir.

Diğer adları: hız sınırı, istek sınırı, kullanım sınırı, rate limit, RPM, TPM, dakika başına istek, dakika başına token, requests per minute, tokens per minute, HTTP 429, 429 hatası, throttling

Paylaşılan her API kendini sınırlarla korur. Hangilerinin geçerli olduğunu bilmek, ne kadar hızlı gidebileceğinizi ve birine takıldığınızda ne yapmanız gerektiğini gösterir.

Nasıl çalışır

LLM API’leri aynı anda birkaç şeyi ölçer. Örneğin OpenAI şunları listeler:

  • RPM: dakika başına istek
  • RPD: gün başına istek
  • TPM: dakika başına token
  • TPD: gün başına token

Hangi sınıra önce ulaşırsanız o geçerli olur. Birçok sağlayıcı ayrıca eşzamanlılığı, yani işlemdeki istek sayısını sınırlar.

Sınır aşıldığında sunucu 429 Too Many Requests döndürür. MDN bunu istemcinin “sent too many requests in a given amount of time” (çeviri: belirli bir süre içinde çok fazla istek gönderdiği) durum olarak tanımlar. Bir Retry-After başlığı kaç saniye beklenmesi gerektiğini söyleyebilir.

Güvenli bir yeniden deneme döngüsü:

import random, time

for attempt in range(5):
    r = send()
    if r.status_code != 429:
        break
    wait = float(r.headers.get("Retry-After", 2 ** attempt))
    time.sleep(wait + random.random())

Resmi OpenAI SDK’ları 429 ve 5xx hatalarını zaten geri çekilmeyle yeniden dener; kendi döngünüzü yazmak yerine max_retries ayarlayın.

Neden önemli

  • İşlem hacmi. Gerçek tavanınız tüm sınırların en düşüğüdür. BroadNet’in kullandıkça öde anahtarlarında olduğu gibi dakikada 30 istekle sınırlı bir anahtarda 1.000 istek, model ne kadar hızlı olursa olsun en az 1.000 ÷ 30 dakika sürer. Hız sınırı hesaplayıcısı bu hesabı kendi sınırlarınız için yapar.
  • Güvenilirlik. Ele alınmayan 429’lar kesinti gibi görünür. Geri çekilme bunları kısa gecikmelere dönüştürür.
  • Maliyet. Bazı sağlayıcılar harcama sınırları için de 429 döndürür; bu, kullandıkça öde anahtarlarında yaygındır. Yeniden denemeden önce hata gövdesini okuyun.

BroadNet Inference’ta

Anahtar türü Sınırlar
Kullandıkça öde Dakikada 30 istek, aynı anda işlemde 4 istek
Saatlik anahtar Dakikada 120 istek, tek akış, dakikada 300,000 token
Sınırsız plan Oturum başına aynı anda tek istek, token sayacı yok

BroadNet; hız, eşzamanlılık, token hızı veya harcama sınırına ulaşıldığında 429 döndürür. Bekleyin ve yeniden deneyin. Hatalar ve yeniden denemeler rehberi her durum kodunu ele alıyor; sınırsız LLM API gerçekte ne demek yazısı da sabit fiyatlı bir planda hangi sınırların kaldığını açıklıyor.

Sık yapılan hatalar

  • 401 veya 403 hatalarını yeniden denemek. Bunlar hız sınırı değil, anahtar veya politika sorunlarıdır.
  • Ortak bir sınırlayıcı olmadan tek bir anahtarda çok sayıda worker çalıştırmak. Her worker tek başına geri çekilirken diğerleri anahtarı doygun tutmaya devam eder.

Sık sorulan sorular

429 hatasını yeniden denemeli miyim?

Evet, bir süre bekledikten sonra. Varsa Retry-After başlığına uyun; yoksa rastgele sapma (jitter) eklenmiş üstel geri çekilme kullanın ve deneme sayısını sınırlayın. Aynı durum kodunu paylaşan harcama sınırı veya faturalandırma hatalarını yeniden denemeyin.

Başarısız istekler sınıra sayılır mı?

Çoğu zaman evet. OpenAI'nin rehberine göre başarısız istekler de dakika başına sınırlara sayılır; bu yüzden bir döngüde anında yeniden denemek durumu kötüleştirir.

Hız sınırı ile eşzamanlılık sınırı arasındaki fark nedir?

Hız sınırı, zaman içindeki istekleri veya token'ları sayar. Eşzamanlılık sınırı ise aynı anda çalışan istekleri sayar. Bir anahtar önce bunlardan herhangi birine takılabilir.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor