BroadRouter
Loslegen

Durchsatz (Throughput)

Aktualisiert

Durchsatz (Throughput) ist beim Betrieb von LLMs die gesamte Arbeit, die ein System pro Zeiteinheit über alle gleichzeitigen Anfragen erledigt, meist gemessen in Output-Tokens pro Sekunde oder Anfragen pro Sekunde. Er unterscheidet sich von der Geschwindigkeit pro Stream, also davon, wie schnell eine einzelne Anfrage ihre Tokens erhält.

Auch genannt: Durchsatz, LLM-Durchsatz, Systemdurchsatz, Gesamtdurchsatz, Anfragen pro Sekunde, Throughput, system throughput, aggregate throughput, total tokens per second, requests per second, RPS

Tokens pro Sekunde sagen Ihnen, wie schnell eine Antwort streamt. Der Durchsatz sagt Ihnen, wie viel ein ganzes System schafft.

So funktioniert es

Der Benchmark-Leitfaden von NVIDIA trennt beides. Gesamt-TPS pro System ist der „total output token throughput across all simultaneous requests“ (Übersetzung: „gesamte Output-Token-Durchsatz über alle gleichzeitigen Anfragen“): alle Output-Tokens geteilt durch die Zeit von der ersten Anfrage bis zur letzten Antwort. TPS pro Nutzer ist die Output-Länge einer Anfrage geteilt durch ihre End-to-End-Zeit. Anfragen pro Sekunde (RPS) zählen fertige Anfragen statt Tokens.

Der entscheidende Satz: „As the number of concurrent requests increases, total system TPS increases while TPS per user decreases.“ (Übersetzung: „Mit steigender Zahl gleichzeitiger Anfragen steigt die Gesamt-TPS des Systems, während die TPS pro Nutzer sinkt.“) Die Gesamt-TPS steigt, bis die GPU ausgelastet ist, und kann danach sogar fallen.

Auf dem Server ist meist der Speicher die Grenze. Das PagedAttention-Paper erklärt, dass Betrieb mit hohem Durchsatz „requires batching sufficiently many requests at a time“ (Übersetzung: „erfordert, ausreichend viele Anfragen gleichzeitig zu bündeln“), und der KV-Cache jeder Anfrage entscheidet, wie viele hineinpassen. Durch besseres Speichermanagement erreichte vLLM bei gleicher Latenz den 2- bis 4-fachen Durchsatz früherer Systeme.

Warum es wichtig ist

Für Sie als API-Nutzer geht es beim Durchsatz um Ihre Seite der Leitung: wie viele Dokumente Sie pro Stunde verarbeiten können oder wie viele Agenten gleichzeitig arbeiten. Dafür gilt eine einfache Faustregel:

your throughput ≈ concurrent requests × per-stream tokens per second

Das gilt nur, solange der Anbieter die Geschwindigkeit pro Stream stabil hält, während Sie Last hinzufügen. Messen Sie es; setzen Sie es nicht einfach voraus.

Der Durchsatz wird durch Ihr Concurrency-Limit und Ihre Rate Limits begrenzt, nicht allein durch das Modell. Ist ein Job langsam, prüfen Sie, ob Anfragen nacheinander laufen, obwohl sie parallel laufen könnten.

Bei BroadNet Inference

BroadNet veröffentlicht Limits pro Schlüssel, keine Zahl für den Systemdurchsatz. Die Seite mit den Plänen nennt eine typische Geschwindigkeit von etwa 100 Tokens pro Sekunde für DeepSeek V4.1 Flash, das Modell der Pläne; für andere Modelle wird keine Geschwindigkeit veröffentlicht. Zur Veranschaulichung, falls jeder Stream mit diesem Wert liefe:

Option Parallele Anfragen Obergrenze, falls die Geschwindigkeit hält
Pay-as-you-go-Schlüssel 4 (und 30 Anfragen pro Minute) 4 Streams × je etwa 100 Tokens pro Sekunde
Stundenschlüssel (Gemma 4 VL 26B) 1 Stream, 300,000 Tokens pro Minute nicht veröffentlicht; messen Sie selbst
Session im Flatrate-Plan 1 Anfrage gleichzeitig etwa 100 Tokens pro Sekunde

Um einen Flatrate-Plan zu skalieren, fügen Sie Sessions hinzu, eine pro parallel arbeitendem Agenten; siehe unbegrenzte LLM-API-Sessions und parallele Coding-Agenten betreiben. Diese Geschwindigkeit ist der von BroadNet angegebene typische Wert für DeepSeek V4.1 Flash, keine Garantie für andere Modelle oder unter Last.

Häufige Fragen

Ist Durchsatz dasselbe wie Tokens pro Sekunde?

Nur auf Systemebene. Tokens pro Sekunde pro Stream sind die Geschwindigkeit, die eine Anfrage erlebt. Der Durchsatz addiert alle Streams. NVIDIA nennt das TPS pro Nutzer und Gesamt-TPS pro System.

Wie hole ich mehr Durchsatz aus einer LLM-API?

Lassen Sie mehr Anfragen parallel laufen, bis zu Ihrem Concurrency- und Rate-Limit, und halten Sie jede Anfrage kurz. Nutzt jede Anfrage ihren Slot bereits voll aus, kommen Sie nur mit mehr Slots, Schlüsseln oder Sessions weiter.

Bedeutet höherer Durchsatz geringere Latenz?

Nein. Durchsatz ist die gesamte Arbeit pro Sekunde über alle Anfragen; Latenz ist die Dauer einer einzelnen Anfrage. Mehr gleichzeitige Anfragen erhöhen den Gesamtdurchsatz, können aber jede einzelne Anfrage verlangsamen. Deshalb weist NVIDIA TPS pro Nutzer und Gesamt-TPS getrennt aus.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen