BroadRouter

Rate Limits von LLM-APIs nach Anbieter: RPM, TPM und Parallelität

Vom Team von BroadNet Inference · 8 Min. Lesezeit · Veröffentlicht · Aktualisiert

Rate Limits von LLM-APIs unterscheiden sich in der Art, nicht nur in der Höhe. OpenAI, Anthropic und Gemini begrenzen Anfragen und Tokens pro Minute je Nutzungsstufe. DeepSeek und DeepInfra begrenzen gleichzeitige Anfragen. Die Free Tiers von Groq und Cerebras haben zusätzlich Tageslimits. In den ersten bezahlten Stufen erlauben OpenAI und Anthropic Tausende Anfragen pro Minute; Pay-as-you-go-Schlüssel von BroadNet erlauben 30.

Wer nach „Rate Limits LLM API“ sucht, findet Blog-Tabellen, die sich gegenseitig widersprechen, oft weil sie alte Zahlen abschreiben. Diese Seite liest jeden Wert am 15. November 2026 aus der Dokumentation des jeweiligen Anbieters ab, nennt Stufe und Modell, für die er gilt, und lässt eine Zelle leer, wenn der Anbieter keinen Wert veröffentlicht. Dieselben Daten als herunterladbaren Datensatz, mit kostenlosem Guthaben und Bedingungen zur Datennutzung, finden Sie unter Free Tiers und Rate Limits von LLM-APIs. BroadRouter ist die eigene Website von BroadNet, und die Limits von BroadNet stehen ebenfalls in der Tabelle.

Was bedeuten RPM, TPM, RPD und Parallelität?

Ein Rate Limit begrenzt, wie viel Sie in einem Zeitfenster senden dürfen. Die Anbieter zählen Unterschiedliches:

Limit Was es zählt Trifft Sie am stärksten, wenn
RPM, Anfragen pro Minute In einer Minute gestartete Anfragen Sie viele kurze Aufrufe senden (Klassifizierung, Schleifen im Stil von Embeddings)
RPS, Anfragen pro Sekunde Dasselbe, über eine Sekunde Sie in Schüben senden, auch wenn der Minutendurchschnitt niedrig ist
TPM, Tokens pro Minute In einer Minute verarbeitete Tokens, manchmal getrennt nach Input (ITPM) und Output (OTPM) Sie lange Prompts oder lange Dokumente senden
RPD / TPD, pro Tag Anfragen oder Tokens an einem Tag Sie einen Batch-Job in einem Free Tier ausführen
Parallelität Im selben Moment laufende Anfragen Anfragen langsam sind: Reasoning, lange Outputs, Agenten

Welches Limit greift, hängt von der Form Ihrer Anfragen ab. Bei Parallelitätslimits hängt der Durchsatz von der Dauer der Anfragen ab: Die Doku von DeepInfra rechnet vor, dass 200 gleichzeitige Anfragen bei durchschnittlich einer Sekunde etwa 12.000 RPM ergeben. Eine 30-sekündige Reasoning-Anfrage bei derselben Parallelität ergibt nur einen Bruchteil davon.

Die meisten Anbieter setzen Limits außerdem über kürzere Zeitfenster durch, als sie veröffentlichen. Anthropic schreibt, ein Limit von 60 RPM „might be enforced as 1 request per second“ (Übersetzung: könnte als 1 Anfrage pro Sekunde durchgesetzt werden), und xAI leitet sein Sekundenlimit aus dem Minutenbudget ab („RPM / 48, with a minimum of 2“; Übersetzung: RPM / 48, mindestens 2).

Wie funktionieren Nutzungsstufen?

Die großen Anbieter geschlossener Modelle heben Ihre Limits an, je mehr Sie ausgeben:

Anbieter Stufen (geprüft am 2026-11-15) Wie Sie aufsteigen
OpenAI Free, Build, Launch, Grow Free: Nutzer muss in einer zugelassenen Region sein; monatliches Nutzungslimit 100 USD (eine Ausgabengrenze, kein Guthaben). Danach Guthabenkäufe von insgesamt 5 USD, 100 USD und 500 USD, mit monatlichen Nutzungslimits von 500 USD, 5.000 USD und 200.000 USD
Anthropic Evaluation, Start, Build, Scale, Custom Automatisch, nach Nutzungshistorie und Kontostatus. Monatliche Ausgabenobergrenzen: Start 500 USD, Build 1.000 USD, Scale 200.000 USD
Google Gemini API Free, Tier 1, Tier 2, Tier 3 Tier 1 erfordert ein verknüpftes Rechnungskonto; Tier 2 erfordert 100 USD bezahlt plus 3 Tage; Tier 3 1.000 USD plus 30 Tage. Google nennt die angegebenen Rate Limits „not guaranteed“ (Übersetzung: nicht garantiert) und gibt bei Erhöhungsanfragen „no guarantees“ (Übersetzung: keine Garantien)
Fireworks AI Tier 1 bis Tier 4 Zahlungsmethode für Tier 1, dann 50 USD, 500 USD und 5.000 USD an Ausgaben oder Guthaben. Die Stufen erhöhen TPM, nicht RPM
xAI Tier 0 bis Tier 4, Enterprise Kumulierte Ausgaben seit dem 1. Januar 2026: 0, 50, 250, 1.000 und 5.000 USD

Zwei Details zählen in der Praxis. Die Ausgabenobergrenze von Anthropic liefert beim Erreichen HTTP 429 ohne retry-after-Header; automatische Retries scheitern also weiter, bis der Monat zurückgesetzt wird oder Sie die Stufe wechseln. Und das Input-Limit von Anthropic zählt nur nicht gecachten Input: Cache-Lesezugriffe zählen nicht, eine hohe Cache-Quote erhöht also Ihren tatsächlichen Durchsatz.

Rate Limits von LLM-APIs nach Anbieter: die Einstiegsstufe

Werte für die kostenlose oder erste bezahlte Stufe jedes Anbieters, von dessen eigener Rate-Limit-Seite. Ein Strich bedeutet, dass die Seite für dieses Limit keine Zahl veröffentlicht; er bedeutet nicht unbegrenzt.

Anbieter Stufe und Modell RPM TPM Pro Tag Parallelität
OpenAI Build; Astra, Sol, Terra 5.000 1.000.000 – –
OpenAI Build; Luna 5.000 2.000.000 – –
Anthropic Start; Sonnet 5.5, Opus 5.5, Haiku 5.5 4.000 2.000.000 Input (nicht gecacht), 400.000 Output – –
Google Gemini API Free; Gemini Decision 1 (einziges Modell mit kostenlosen Werten auf der Seite) 200 50.000 10.000 Anfragen –
Google Gemini API Tier 1; Gemini Decision 1 1.500 1.000.000 50.000 Anfragen –
Groq Tabelle des Free Plan; openai/gpt-oss-120b, qwen/qwen3.8-27b 30 8.000 1.000 Anfragen, 200.000 Tokens –
Groq Tabelle des Developer Plan; openai/gpt-oss-120b, qwen/qwen3.8-27b 1.000 250.000 500.000 Anfragen –
Cerebras Free Trial; gpt-oss-120b 5 30.000 nicht gecacht (90.000 insgesamt) 1.000.000 Tokens –
Cerebras Developer (Pay-as-you-go); gpt-oss-120b 1.000 500.000 nicht gecacht (1.500.000 insgesamt) Keine Obergrenze –
Fireworks AI Ohne Zahlungsmethode oder Guthaben; kontoweit 10 – – –
Fireworks AI Mit Zahlungsmethode und Guthaben; kontoweit 6.000 Nach Ausgabenstufe – –
DeepInfra Standard; pro öffentlichem Modell – – – 200
DeepSeek Standard; deepseek-flash (DeepSeek-V4.1-Flash-1017), pro Konto – – – 2.500
DeepSeek Standard; deepseek-v4-pro (DeepSeek-V4-Pro-0813), pro Konto – – – 500
xAI Tier 0; grok-4.7 (150 RPS) – 50.000.000 – –
OpenRouter :free-Modelle, unter 10 USD an gekauften Credits 20 – 50 Anfragen –
OpenRouter :free-Modelle, 10 USD oder mehr an gekauften Credits 20 – 1.000 Anfragen –
Cohere Trial-Schlüssel; Command A 20 – 1.000 Aufrufe pro Monat –
Cohere Production-Schlüssel; Command A 500 – – –
BroadNet Inference Pay-as-you-go-Schlüssel; jedes Modell 30 – – 4
BroadNet Inference Stundenschlüssel; Gemma 4 VL 26B 120 300,000 – 1 Stream
BroadNet Inference Session eines Flatrate-Plans; DeepSeek V4.1 Flash – Kein Token-Zähler – 1 Anfrage gleichzeitig

Hinweise zu den Zeilen:

  • Groq. Die Seite hat zwei Reiter, „Free Plan Limits“ (standardmäßig geöffnet) und „Developer Plan Limits“. Der Satz darüber nennt die Werte „the base limits for the Developer plan“ (Übersetzung: die Basislimits des Developer-Plans), was nur auf den zweiten Reiter passt; die Tabelle oben zeigt beide. Die genauen Limits Ihrer Organisation stehen auf deren Limits-Seite.
  • Google. Die Limits gelten pro Projekt, nicht pro API-Schlüssel. Die Werte der meisten Modelle erscheinen nur in AI Studio. Gemini Decision 1 ist ein Klassifizierungsmodell für Googles Decisions API: Es liefert Wahrscheinlichkeiten statt Text, daher sagen seine Limits wenig über die Gemini-Chatmodelle.
  • Mistral und Together AI veröffentlichen keine Zahlen. Mistral zeigt Ihre Limits in der Konsole, statt eine Tabelle zu veröffentlichen, und bietet keinen kostenlosen API-Zugang („It doesn’t include API access“; Übersetzung: Er umfasst keinen API-Zugang). Together schreibt, dass es bei hoher Nachfrage „may limit requests“ (Übersetzung: Anfragen begrenzen kann), und setzt für beliebte Modelle unter Umständen eigene Limits.
  • OpenRouter. Bezahlte Modellvarianten haben „no platform-level request cap“ (Übersetzung: keine Anfrageobergrenze auf Plattformebene), aber die Anbieter hinter jedem Modell haben weiterhin eigene Limits.
  • DeepSeek. Bei hoher Last hält DeepSeek die Verbindung mit leeren Zeilen oder : keep-alive-Kommentaren offen und schließt sie, wenn die Inferenz nicht innerhalb von 10 Minuten begonnen hat. Stellen Sie den Timeout Ihres Clients darauf ein.

Wie schneiden die Limits von BroadNet ehrlich gesagt ab?

Für Arbeit mit hohem Volumen sind sie niedrig. Ein Pay-as-you-go-Schlüssel von BroadNet erlaubt 30 Anfragen pro Minute und 4 gleichzeitig, während die ersten bezahlten Stufen von OpenAI und Anthropic Tausende Anfragen pro Minute erlauben und Fireworks 6.000, sobald eine Karte hinterlegt ist. Wenn Sie Tausende kurze Anfragen pro Minute über einen Schlüssel schicken müssen, passt die bezahlte Stufe eines großen Anbieters besser.

Zu anderen Lastprofilen passen die Limits:

  • Agenten und Chat. Ein Agent sendet eine Anfrage nach der anderen und wartet. 4 gleichzeitige Anfragen reichen für einige Agenten pro Schlüssel; ein Schlüssel pro App oder Teammitglied verteilt die Last.
  • Flatrate-Pläne. Eine Session von Full Moon, Orbit oder Meteor hat keinen Token-Zähler und keine Tages- oder Wochenobergrenze, verarbeitet aber eine Anfrage gleichzeitig bei einer typischen Geschwindigkeit von etwa 100 Tokens pro Sekunde. Um Agenten parallel laufen zu lassen, kaufen Sie für jeden eine Session. Wie viele Sessions Sie brauchen.
  • Stundenschlüssel. Für $0.50 pro Stunde erhalten Sie einen Gemma-4-VL-26B-Stream mit 120 Anfragen und 300,000 Tokens pro Minute.

Alle Limits von BroadNet liefern HTTP 429. Die API-Referenz nennt kein retry-after-Timing; nutzen Sie also begrenztes Backoff mit Jitter.

Wie planen Sie um ein Rate Limit herum?

  1. Finden Sie Ihr bindendes Limit. Ermitteln Sie Anfragen pro Minute, Tokens pro Minute und gleichzeitige Anfragen für Ihren Spitzen-Traffic. Der Rate-Limit-Rechner für LLMs rechnet das aus Anfragegröße und Latenz aus.
  2. Drosseln Sie im Client. Ein Token Bucket, der dem veröffentlichten Limit entspricht, vermeidet die meisten 429-Fehler. Anthropic nutzt serverseitig denselben Algorithmus.
  3. Lesen Sie die Header. Anthropic liefert anthropic-ratelimit-*-Header; Groq liefert x-ratelimit-*-Header, wobei sich sein Anfrage-Header „always refers to Requests Per Day“ (Übersetzung: bezieht sich immer auf Anfragen pro Tag). Nutzen Sie retry-after, wenn vorhanden.
  4. Wiederholen Sie mit Backoff und Jitter, und begrenzen Sie die Retries. 429-Fehler behandeln enthält funktionierenden Code, und Fehler und Retries behandelt die Statuscodes von BroadNet.
  5. Cachen Sie stabile Präfixe. Bei Anthropic zählt gecachter Input nicht zum Input-Limit. Überall senkt er die Kosten.
  6. Verteilen Sie Massenjobs. Anthropic wendet außerdem Ramp-Limits an: Ein plötzlicher Traffic-Sprung kann unterhalb Ihres Limits 429 auslösen. Starten Sie Batch-Jobs langsam. Ohne Batch API hält ein fortsetzbarer Batch-Runner einen Job innerhalb seiner Limits.
  7. Fragen Sie nach mehr. DeepSeek, DeepInfra, Mistral und Anthropic beschreiben alle einen Weg, höhere Limits zu beantragen.

Wo BroadNet Inference passt

BroadRouter ist die eigene Website von BroadNet; gewichten Sie diesen Abschnitt entsprechend. BroadNet Inference ist nicht die Wahl für sehr hohe Anfrageraten über einen Schlüssel: Die veröffentlichten Limits pro Schlüssel liegen deutlich unter den bezahlten Stufen von OpenAI, Anthropic, Fireworks oder Cerebras. Es passt zu Agenten- und Chat-Workloads, die wenige Anfragen gleichzeitig senden, besonders mit einem Flatrate-Plan, bei dem ein ausgelasteter Agent weder Token-Zähler noch Tagesobergrenze hat. Neue Konten erhalten $5 Startguthaben für Gemma 4 VL 26B, die beiden Transkriptionsmodelle und Gemma-Stundenschlüssel; DeepSeek, GLM und Qwen erfordern eine Aufladung. Self-Service hat kein SLA. Die API-Limits lesen oder Pläne vergleichen.

Häufige Fragen

Welche Rate Limits hat die OpenAI API in der ersten bezahlten Stufe?

Laut Rate-Limit-Leitfaden von OpenAI (geprüft am 15. November 2026) erreicht man die Stufe Build mit insgesamt 5 USD an Guthabenkäufen, bei einem monatlichen Nutzungslimit von 500 USD. Build erlaubt 5.000 RPM und 1.000.000 TPM auf Astra, Sol und Terra sowie 5.000 RPM und 2.000.000 TPM auf Luna. Die Limits gelten pro Organisation und pro Projekt.

Welche Rate Limits hat die Anthropic API?

In der Stufe Start erlauben Claude Sonnet 5.5, Opus 5.5 und Haiku 5.5 jeweils 4.000 RPM, 2.000.000 Input-Tokens pro Minute und 400.000 Output-Tokens pro Minute (geprüft am 15. November 2026). Nur nicht gecachter Input zählt zum Input-Limit. Neue Organisationen beginnen unter Umständen in der niedrigeren Stufe Evaluation.

Welche kostenlosen Rate Limits hat Groq?

Die veröffentlichte Tabelle von Groq (geprüft am 15. November 2026) zeigt 30 Anfragen pro Minute, 1.000 Anfragen pro Tag, 8.000 Tokens pro Minute und 200.000 Tokens pro Tag für openai/gpt-oss-120b und qwen/qwen3.8-27b. Groq weist darauf hin, dass die genauen Limits Ihrer Organisation auf deren Limits-Seite stehen. Die Tabelle des Developer Plan zeigt für dieselben Modelle 1.000 Anfragen pro Minute, 500.000 Anfragen pro Tag und 250.000 Tokens pro Minute.

Hat die DeepSeek API Rate Limits?

Ja, in Form von Parallelität. DeepSeek erlaubt pro Konto 2.500 gleichzeitige Anfragen auf deepseek-flash und 500 auf deepseek-v4-pro und gibt darüber HTTP 429 zurück. Höhere Limits gibt es auf Anfrage ohne Aufpreis (geprüft am 15. November 2026).

Was ist der Unterschied zwischen RPM, TPM und Parallelität?

RPM zählt die pro Minute gestarteten Anfragen. TPM zählt die pro Minute verarbeiteten Tokens, manchmal getrennt nach Input und Output. Parallelität zählt die Anfragen, die im selben Moment laufen; lange Anfragen schöpfen sie also auch bei niedrigem RPM aus.

Welche Rate Limits hat BroadNet Inference?

Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig. Ein Stundenschlüssel erlaubt 120 Anfragen pro Minute, 300,000 Tokens pro Minute und 1 Stream auf Gemma 4 VL 26B. Eine Session eines Flatrate-Plans verarbeitet eine Anfrage gleichzeitig. Bei Überschreitung geben alle HTTP 429 zurück.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen