Rate Limits zählen Anfragen über einen Zeitraum. Concurrency zählt Anfragen in einem einzigen Moment. LLM-Anfragen können viele Sekunden dauern, daher greift das zweite Limit oft zuerst.
So funktioniert es
Das Gesetz von Little verbindet die drei Größen (offene Anfragen = Anfragerate × durchschnittliche Dauer pro Anfrage):
requests in flight = request rate × average time per request
Nehmen Sie einen hypothetischen Schlüssel, der 5 offene Anfragen und 60 Anfragen pro Minute erlaubt, wobei jede Anfrage 20 Sekunden dauert. Das Concurrency-Limit erlaubt höchstens 5 ÷ 20 = 0,25 Anfragen pro Sekunde, also 15 pro Minute. Die 60 pro Minute erreichen Sie nie, weil die Concurrency das bindende Limit ist. Bei Anfragen von 2 Sekunden erlaubt dasselbe Limit 150 pro Minute, und stattdessen greift das Rate Limit. Der Rate-Limit-Rechner rechnet das mit Ihren eigenen Zahlen durch.
Lange Outputs, Reasoning-Tokens und lange Prompts verlängern Anfragen und verbrauchen die Concurrency daher schneller. Eine gestreamte Antwort hält ihren Slot, bis sie endet.
Warum es wichtig ist
Anbieter begrenzen die Concurrency, weil GPU-Speicher und Rechenleistung geteilt werden. Die Benchmarks von NVIDIA zeigen: Steigt die Concurrency auf einem Server, wächst der gesamte Output, während die Tokens pro Sekunde jeder einzelnen Anfrage sinken. Ein Limit pro Schlüssel verhindert, dass ein Client alle anderen ausbremst.
Für Ihre App bestimmt die Concurrency, wie groß Worker-Pools sein dürfen und wie viele Agenten nebeneinander laufen können. Richten Sie den Pool am Limit aus, nicht darüber, sonst sammeln zusätzliche Worker nur 429-Fehler.
Bei BroadNet Inference
| Zugang | Concurrency |
|---|---|
| Pay-as-you-go-Schlüssel | 4 offene Anfragen, dazu 30 Anfragen pro Minute |
| Stundenschlüssel | Ein Stream |
| Unbegrenzter Plan | Eine Anfrage gleichzeitig pro Session |
Die Pläne verkaufen Concurrency direkt. Eine Session hat keinen Token-Zähler und bearbeitet eine Anfrage nach der anderen, so wie ein Agent arbeitet. Anfragen in derselben Session reihen sich hintereinander ein. Um Agenten parallel laufen zu lassen, kaufen Sie eine Session pro Agent: Ein Orchestrator plus drei Sub-Agenten braucht vier Sessions. Ein Schlüssel kann mehrere Sessions enthalten.
Lesen Sie, wie unbegrenzte Sessions funktionieren und wie Sie parallele Coding-Agenten mit einer Flatrate betreiben. Agenten verbringen viel Zeit damit, Tools auszuführen; messen Sie also die tatsächliche Überlappung, bevor Sie mehr Sessions kaufen.
Häufige Fehler
- Pro Aufgabe einen Worker starten, ohne Pool. Ein Batch aus 100 Aufgaben wird zu 100 gleichzeitigen Anfragen.
- Client-Timeouts kürzer setzen als eine lange Reasoning-Antwort. Der Client gibt auf, während der Slot noch belegt ist.