Tokens pro Sekunde sagen Ihnen, wie schnell eine Antwort streamt. Der Durchsatz sagt Ihnen, wie viel ein ganzes System schafft.
So funktioniert es
Der Benchmark-Leitfaden von NVIDIA trennt beides. Gesamt-TPS pro System ist der „total output token throughput across all simultaneous requests“ (Übersetzung: „gesamte Output-Token-Durchsatz über alle gleichzeitigen Anfragen“): alle Output-Tokens geteilt durch die Zeit von der ersten Anfrage bis zur letzten Antwort. TPS pro Nutzer ist die Output-Länge einer Anfrage geteilt durch ihre End-to-End-Zeit. Anfragen pro Sekunde (RPS) zählen fertige Anfragen statt Tokens.
Der entscheidende Satz: „As the number of concurrent requests increases, total system TPS increases while TPS per user decreases.“ (Übersetzung: „Mit steigender Zahl gleichzeitiger Anfragen steigt die Gesamt-TPS des Systems, während die TPS pro Nutzer sinkt.“) Die Gesamt-TPS steigt, bis die GPU ausgelastet ist, und kann danach sogar fallen.
Auf dem Server ist meist der Speicher die Grenze. Das PagedAttention-Paper erklärt, dass Betrieb mit hohem Durchsatz „requires batching sufficiently many requests at a time“ (Übersetzung: „erfordert, ausreichend viele Anfragen gleichzeitig zu bündeln“), und der KV-Cache jeder Anfrage entscheidet, wie viele hineinpassen. Durch besseres Speichermanagement erreichte vLLM bei gleicher Latenz den 2- bis 4-fachen Durchsatz früherer Systeme.
Warum es wichtig ist
Für Sie als API-Nutzer geht es beim Durchsatz um Ihre Seite der Leitung: wie viele Dokumente Sie pro Stunde verarbeiten können oder wie viele Agenten gleichzeitig arbeiten. Dafür gilt eine einfache Faustregel:
your throughput ≈ concurrent requests × per-stream tokens per second
Das gilt nur, solange der Anbieter die Geschwindigkeit pro Stream stabil hält, während Sie Last hinzufügen. Messen Sie es; setzen Sie es nicht einfach voraus.
Der Durchsatz wird durch Ihr Concurrency-Limit und Ihre Rate Limits begrenzt, nicht allein durch das Modell. Ist ein Job langsam, prüfen Sie, ob Anfragen nacheinander laufen, obwohl sie parallel laufen könnten.
Bei BroadNet Inference
BroadNet veröffentlicht Limits pro Schlüssel, keine Zahl für den Systemdurchsatz. Die Seite mit den Plänen nennt eine typische Geschwindigkeit von etwa 100 Tokens pro Sekunde für DeepSeek V4.1 Flash, das Modell der Pläne; für andere Modelle wird keine Geschwindigkeit veröffentlicht. Zur Veranschaulichung, falls jeder Stream mit diesem Wert liefe:
| Option | Parallele Anfragen | Obergrenze, falls die Geschwindigkeit hält |
|---|---|---|
| Pay-as-you-go-Schlüssel | 4 (und 30 Anfragen pro Minute) | 4 Streams × je etwa 100 Tokens pro Sekunde |
| Stundenschlüssel (Gemma 4 VL 26B) | 1 Stream, 300,000 Tokens pro Minute | nicht veröffentlicht; messen Sie selbst |
| Session im Flatrate-Plan | 1 Anfrage gleichzeitig | etwa 100 Tokens pro Sekunde |
Um einen Flatrate-Plan zu skalieren, fügen Sie Sessions hinzu, eine pro parallel arbeitendem Agenten; siehe unbegrenzte LLM-API-Sessions und parallele Coding-Agenten betreiben. Diese Geschwindigkeit ist der von BroadNet angegebene typische Wert für DeepSeek V4.1 Flash, keine Garantie für andere Modelle oder unter Last.