BroadRouter

Sağlayıcılara göre LLM API hız sınırları: RPM, TPM ve eşzamanlılık

BroadNet Inference ekibi · 8 dk okuma · Yayımlandı · Güncellendi

LLM API hız sınırları yalnızca büyüklükte değil, türde de farklıdır. OpenAI, Anthropic ve Gemini, kullanım katmanına göre dakikadaki istek ve token sayısını sınırlar. DeepSeek ve DeepInfra eşzamanlı istekleri sınırlar. Groq ve Cerebras'ın ücretsiz katmanları buna günlük sınırlar ekler. İlk ücretli katmanlarda OpenAI ve Anthropic dakikada binlerce isteğe izin verir; BroadNet kullandıkça öde anahtarları ise 30 isteğe.

“LLM API hız sınırları” diye arattığınızda birbiriyle çelişen blog tabloları çıkar; çoğu zaman eski sayıları kopyaladıkları için. Bu sayfa her rakamı 15 Kasım 2026’da sağlayıcının kendi belgelerinden okur, hangi katman ve model için geçerli olduğunu belirtir ve sağlayıcı bir sayı yayımlamıyorsa hücreyi boş bırakır. Aynı verileri ücretsiz krediler ve veri kullanım koşullarıyla birlikte indirilebilir bir veri seti olarak görmek için LLM API ücretsiz katmanları ve hız sınırları sayfasına bakın. BroadRouter, BroadNet’in kendi sitesidir ve BroadNet’in sınırları da tabloda yer alıyor.

RPM, TPM, RPD ve eşzamanlılık ne demek?

Bir hız sınırı (rate limit), belirli bir zaman aralığında ne kadar gönderebileceğinizi kısıtlar. Sağlayıcılar farklı şeyleri sayar:

Sınır Neyi sayar En çok ne zaman canınızı yakar
RPM, dakika başına istek Bir dakikada başlatılan istekler Çok sayıda kısa çağrı gönderdiğinizde (sınıflandırma, embedding tarzı döngüler)
RPS, saniye başına istek Aynısı, bir saniye üzerinden Dakika ortalaması düşük olsa bile ani yükler (burst) gönderdiğinizde
TPM, dakika başına token Bir dakikada işlenen token’lar; bazen girdi (ITPM) ve çıktı (OTPM) ayrı ayrı Uzun istemler veya uzun belgeler gönderdiğinizde
RPD / TPD, gün başına Bir gündeki istekler veya token’lar Ücretsiz katmanda toplu iş çalıştırdığınızda
Eşzamanlılık Aynı anda uçuşta olan istekler İstekler yavaş olduğunda: akıl yürütme, uzun çıktılar, ajanlar

Hangisine takılacağınız isteklerinizin yapısına bağlıdır. Eşzamanlılık sınırlarında işlem hacmi istek süresine bağlıdır: DeepInfra’nın kendi belgeleri, ortalama 1 saniye süren 200 eşzamanlı isteğin kabaca 12.000 RPM’ye denk geldiği örneğini veriyor. Aynı eşzamanlılıkta 30 saniyelik bir akıl yürütme isteği bunun yalnızca küçük bir kısmını sağlar.

Sağlayıcıların çoğu, sınırları yayımladıklarından daha kısa aralıklarda da uygular. Anthropic, 60 RPM’lik bir sınırın “might be enforced as 1 request per second” (BroadRouter çevirisi: “saniyede 1 istek olarak uygulanabileceğini”) söylüyor; xAI ise saniye başına sınırını dakika başına bütçeden türetiyor (“RPM / 48, with a minimum of 2”; BroadRouter çevirisi: “RPM / 48, en az 2”).

Kullanım katmanları nasıl işler?

Kapalı model sunan büyük sağlayıcılar, harcamanız arttıkça sınırlarınızı yükseltir:

Sağlayıcı Katmanlar (2026-11-15 tarihinde kontrol edildi) Nasıl yükselirsiniz
OpenAI Free, Build, Launch, Grow Free: kullanıcı izin verilen bir coğrafyada olmalı; aylık kullanım sınırı USD 100 (kredi değil, harcama tavanı). Ardından toplam USD 5, USD 100 ve USD 500 kredi alımı; aylık kullanım sınırları USD 500, USD 5.000 ve USD 200.000
Anthropic Evaluation, Start, Build, Scale, Custom Otomatik; kullanım geçmişine ve hesap durumuna göre. Aylık harcama tavanları: Start USD 500, Build USD 1.000, Scale USD 200.000
Google Gemini API Free, Tier 1, Tier 2, Tier 3 Tier 1 için bağlı bir faturalandırma hesabı gerekir; Tier 2 için USD 100 ödeme artı 3 gün; Tier 3 için USD 1.000 artı 30 gün. Google, belirtilen hız sınırlarının “not guaranteed” (BroadRouter çevirisi: “garanti edilmediğini”) söylüyor ve artış taleplerinde “no guarantees” (BroadRouter çevirisi: “hiçbir garanti”) vermiyor
Fireworks AI Tier 1 ile Tier 4 arası Tier 1 için ödeme yöntemi, ardından USD 50, USD 500 ve USD 5.000 harcama veya kredi. Katmanlar RPM’yi değil TPM’yi yükseltir
xAI Tier 0 ile Tier 4 arası, Enterprise 1 Ocak 2026’dan bu yana toplam harcama: USD 0, 50, 250, 1.000 ve 5.000

Uygulamada iki ayrıntı önemlidir. Anthropic’in harcama tavanına ulaştığınızda retry-after başlığı olmadan HTTP 429 döner; bu yüzden otomatik yeniden denemeler ay sıfırlanana veya katman değiştirene kadar başarısız olmaya devam eder. Ayrıca Anthropic’in girdi sınırı yalnızca önbellekten okunmayan girdiyi sayar: önbellek okumaları sayılmaz, yani yüksek önbellek oranı gerçek işlem hacminizi artırır.

Sağlayıcılara göre LLM API hız sınırları: giriş katmanı

Her sağlayıcının ücretsiz veya ilk ücretli katmanına ait rakamlar, kendi hız sınırları sayfasından. Tire, sayfanın o sınır için bir sayı yayımlamadığı anlamına gelir; sınırsız demek değildir.

Sağlayıcı Katman ve model RPM TPM Günlük Eşzamanlılık
OpenAI Build; Astra, Sol, Terra 5.000 1.000.000 – –
OpenAI Build; Luna 5.000 2.000.000 – –
Anthropic Start; Sonnet 5.5, Opus 5.5, Haiku 5.5 4.000 2.000.000 girdi (önbelleksiz), 400.000 çıktı – –
Google Gemini API Free; Gemini Decision 1 (sayfada ücretsiz rakamı olan tek model) 200 50.000 10.000 istek –
Google Gemini API Tier 1; Gemini Decision 1 1.500 1.000.000 50.000 istek –
Groq Ücretsiz plan tablosu; openai/gpt-oss-120b, qwen/qwen3.8-27b 30 8.000 1.000 istek, 200.000 token –
Groq Developer plan tablosu; openai/gpt-oss-120b, qwen/qwen3.8-27b 1.000 250.000 500.000 istek –
Cerebras Free Trial; gpt-oss-120b 5 30.000 önbelleksiz (toplam 90.000) 1.000.000 token –
Cerebras Developer (kullandıkça öde); gpt-oss-120b 1.000 500.000 önbelleksiz (toplam 1.500.000) Tavan yok –
Fireworks AI Ödeme yöntemi veya kredi yok; hesap geneli 10 – – –
Fireworks AI Ödeme yöntemi ve kredi var; hesap geneli 6.000 Harcama katmanına göre – –
DeepInfra Varsayılan; herkese açık model başına – – – 200
DeepSeek Varsayılan; deepseek-flash (DeepSeek-V4.1-Flash-1017), hesap başına – – – 2.500
DeepSeek Varsayılan; deepseek-v4-pro (DeepSeek-V4-Pro-0813), hesap başına – – – 500
xAI Tier 0; grok-4.7 (150 RPS) – 50.000.000 – –
OpenRouter :free modeller, USD 10’dan az kredi alımı 20 – 50 istek –
OpenRouter :free modeller, USD 10 veya daha fazla kredi alımı 20 – 1.000 istek –
Cohere Deneme anahtarı; Command A 20 – Ayda 1.000 çağrı –
Cohere Üretim anahtarı; Command A 500 – – –
BroadNet Inference Kullandıkça öde anahtarı; tüm modeller 30 – – 4
BroadNet Inference Saatlik anahtar; Gemma 4 VL 26B 120 300,000 – 1 akış
BroadNet Inference Sabit fiyatlı plan oturumu; DeepSeek V4.1 Flash – Token sayacı yok – Aynı anda 1 istek

Satırlarla ilgili notlar:

  • Groq. Sayfada iki sekme var: “Free Plan Limits” (varsayılan olarak açık) ve “Developer Plan Limits” (ücretsiz plan ve Developer plan sınırları). Üstlerindeki cümle rakamları “the base limits for the Developer plan” (BroadRouter çevirisi: “Developer planın temel sınırları”) olarak tanımlıyor; bu yalnızca ikinci sekmeye uyuyor. Yukarıdaki tablo ikisini de gösteriyor. Kuruluşunuzun kesin sınırları kendi sınırlar sayfasında.
  • Google. Sınırlar API anahtarı başına değil, proje başına uygulanır. Çoğu modelin rakamları yalnızca AI Studio içinde görünür. Gemini Decision 1, Google’ın Decisions API’si için bir sınıflandırma modelidir: metin değil olasılık döndürür, bu yüzden sınırları Gemini sohbet modelleri hakkında pek bilgi vermez.
  • Mistral ve Together AI rakam yayımlamıyor. Mistral sınırlarınızı tablo yayımlamak yerine konsolunda gösteriyor ve ücretsiz API erişimi sunmuyor (“It doesn’t include API access”; BroadRouter çevirisi: “API erişimini içermez”). Together, talep yüksek olduğunda “may limit requests” (BroadRouter çevirisi: “istekleri sınırlayabileceğini”) söylüyor ve popüler modellerde özel sınırlar koyabiliyor.
  • OpenRouter. Ücretli model varyantlarında “no platform-level request cap” (BroadRouter çevirisi: “platform düzeyinde istek tavanı yok”) deniyor; ancak her modelin arkasındaki sağlayıcıların kendi sınırları yine de geçerli.
  • DeepSeek. Yoğun olduğunda DeepSeek bağlantıyı boş satırlar veya : keep-alive yorumlarıyla açık tutar ve çıkarım 10 dakika içinde başlamazsa bağlantıyı kapatır. İstemci zaman aşımınızı buna göre ayarlayın.

BroadNet’in sınırları dürüstçe karşılaştırıldığında nasıl?

Yüksek hacimli işler için düşükler. BroadNet kullandıkça öde anahtarı dakikada 30 isteğe ve aynı anda 4 uçuştaki isteğe izin verirken, OpenAI ve Anthropic’in ilk ücretli katmanları dakikada binlerce isteğe, Fireworks ise kart tanımlandıktan sonra 6.000 isteğe izin veriyor. Tek bir anahtardan dakikada binlerce kısa istek geçirmeniz gerekiyorsa büyük bir sağlayıcının ücretli katmanı daha uygundur.

Bu sınırlar başka iş yüklerine uyar:

  • Ajanlar ve sohbet. Bir ajan aynı anda tek istek gönderir ve bekler. Aynı anda 4 uçuştaki istek, anahtar başına birkaç ajanı karşılar; her uygulama veya ekip arkadaşı için ayrı bir anahtar yükü dağıtır.
  • Sabit fiyatlı planlar. Full Moon, Orbit veya Meteor oturumunda token sayacı, günlük veya haftalık tavan yoktur; ancak oturum aynı anda tek istek çalıştırır ve tipik hızı saniyede yaklaşık 100 token civarındadır. Ajanları paralel çalıştırmak için her biri için bir oturum satın alın. Kaç oturuma ihtiyacınız var.
  • Saatlik anahtar. Saati $0.50 olan anahtar, dakikada 120 istek ve 300,000 token ile tek bir Gemma 4 VL 26B akışı sağlar.

BroadNet’in tüm sınırları HTTP 429 döndürür. API referansı bir retry-after süresi vermediği için jitter’lı, sınırlı geri çekilme kullanın.

Bir hız sınırına göre nasıl plan yapılır?

  1. Sizi bağlayan sınırı bulun. Yoğun trafiğiniz için dakikadaki isteği, dakikadaki token’ı ve uçuştaki isteği hesaplayın. LLM hız sınırı hesaplayıcısı bunu istek boyutu ve gecikmeden hesaplar.
  2. İstemci tarafında kısın. Yayımlanan sınıra uyan bir token kovası (token bucket), 429’ların çoğunu önler. Anthropic sunucu tarafında aynı algoritmayı kullanıyor.
  3. Başlıkları okuyun. Anthropic anthropic-ratelimit-* başlıklarını, Groq ise x-ratelimit-* başlıklarını döndürür; Groq’un istek başlığı “always refers to Requests Per Day” (BroadRouter çevirisi: “her zaman günlük isteği ifade eder”). retry-after varsa onu kullanın.
  4. Geri çekilme ve jitter ile yeniden deneyin, deneme sayısını sınırlayın. 429 hatalarını yönetme yazısında çalışan kod var; hatalar ve yeniden denemeler rehberi BroadNet’in durum kodlarını anlatıyor.
  5. Sabit önekleri önbelleğe alın. Anthropic’te önbellekli girdi, girdi sınırına sayılmaz. Her yerde maliyeti düşürür.
  6. Toplu işleri yayın. Anthropic artış (ramp) sınırları da uygular: trafikteki ani bir sıçrama, sınırınızın altındayken bile 429 döndürebilir. Toplu işleri yavaş başlatın. Batch API yoksa kaldığı yerden devam edebilen bir toplu iş çalıştırıcısı işi sınırların içinde tutar.
  7. Daha fazlasını isteyin. DeepSeek, DeepInfra, Mistral ve Anthropic’in hepsi daha yüksek sınırlar için bir talep yolu tarif ediyor.

BroadNet Inference nereye uyuyor?

BroadRouter, BroadNet’in kendi web sitesidir; bu bölümü bunu göz önünde tutarak değerlendirin. BroadNet Inference, tek anahtarda çok yüksek istek hızları için doğru seçenek değildir: yayımlanan anahtar başına sınırları OpenAI, Anthropic, Fireworks veya Cerebras’ın ücretli katmanlarının oldukça altındadır. Aynı anda birkaç istek gönderen ajan ve sohbet iş yüklerine uyar; özellikle yoğun çalışan bir ajanın token sayacına veya günlük tavana takılmadığı sabit fiyatlı bir planda. Yeni hesaplar Gemma 4 VL 26B, iki transkripsiyon modeli ve Gemma saatlik anahtarları için $5 başlangıç kredisi alır; DeepSeek, GLM ve Qwen için bakiye yüklemek gerekir. Self-servis kullanımda SLA yoktur. API sınırlarını okuyun veya planları karşılaştırın.

Sık sorulan sorular

OpenAI API'nin ilk ücretli katmandaki hız sınırları ne kadar?

OpenAI'ın hız sınırları rehberine göre (15 Kasım 2026'da kontrol edildi) Build katmanı toplam USD 5 kredi alımıyla başlar ve aylık kullanım sınırı USD 500'dür. Build; Astra, Sol ve Terra için 5.000 RPM ve 1.000.000 TPM, Luna için 5.000 RPM ve 2.000.000 TPM verir. Sınırlar kuruluş ve proje başına uygulanır.

Anthropic API hız sınırları nedir?

Start katmanında Claude Sonnet 5.5, Opus 5.5 ve Haiku 5.5'in her biri 4.000 RPM, dakikada 2.000.000 girdi token'ı ve dakikada 400.000 çıktı token'ı verir (15 Kasım 2026'da kontrol edildi). Girdi sınırına yalnızca önbellekten okunmayan girdi sayılır. Yeni kuruluşlar daha düşük bir Evaluation katmanında başlayabilir.

Groq'un ücretsiz hız sınırları ne kadar?

Groq'un yayımladığı tablo (15 Kasım 2026'da kontrol edildi) openai/gpt-oss-120b ve qwen/qwen3.8-27b için dakikada 30 istek, günde 1.000 istek, dakikada 8.000 token ve günde 200.000 token gösteriyor. Groq, kuruluşunuzun kesin sınırlarının kendi sınırlar sayfasında olduğunu belirtiyor. Developer plan tablosu aynı modeller için dakikada 1.000 istek, günde 500.000 istek ve dakikada 250.000 token gösteriyor.

DeepSeek API'de hız sınırı var mı?

Evet, eşzamanlılık biçiminde. DeepSeek, hesap başına deepseek-flash için 2.500, deepseek-v4-pro için 500 eşzamanlı isteğe izin verir ve bunun üzerinde HTTP 429 döndürür. Daha yüksek sınırlar talep üzerine ek ücret olmadan verilir (15 Kasım 2026'da kontrol edildi).

RPM, TPM ve eşzamanlılık arasındaki fark nedir?

RPM, dakikada başlatılan istekleri sayar. TPM, dakikada işlenen token'ları sayar; bazen girdi ve çıktıyı ayrı ayrı. Eşzamanlılık ise aynı anda uçuşta olan istekleri sayar; bu yüzden uzun istekler, RPM düşük olsa bile bu sınırı doldurur.

BroadNet Inference'ın hız sınırları ne kadar?

Kullandıkça öde anahtarı dakikada 30 isteğe ve aynı anda 4 uçuştaki isteğe izin verir. Saatlik anahtar, Gemma 4 VL 26B üzerinde dakikada 120 isteğe, dakikada 300,000 token'a ve 1 akışa izin verir. Sabit fiyatlı plan oturumu aynı anda tek istek çalıştırır. Sınır aşıldığında hepsi HTTP 429 döndürür.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor

Kaynaklar