---
title: "Was ist LLM-Durchsatz? Tokens pro Sekunde im ganzen System"
description: "LLM-Durchsatz ist die Arbeit, die ein System pro Sekunde über alle parallelen Anfragen erledigt, in Tokens oder Anfragen. Der Unterschied zum Tempo pro Stream."
url: https://broadrouter.com/de/glossary/throughput/
lang: de
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/glossary/throughput/) (aktualisiert am 2026-11-14).

# Durchsatz (Throughput)

Aktualisiert 2026-11-14

Durchsatz (Throughput) ist beim Betrieb von LLMs die gesamte Arbeit, die ein System pro Zeiteinheit über alle gleichzeitigen Anfragen erledigt, meist gemessen in Output-Tokens pro Sekunde oder Anfragen pro Sekunde. Er unterscheidet sich von der Geschwindigkeit pro Stream, also davon, wie schnell eine einzelne Anfrage ihre Tokens erhält.

Auch genannt: Durchsatz, LLM-Durchsatz, Systemdurchsatz, Gesamtdurchsatz, Anfragen pro Sekunde, Throughput, system throughput, aggregate throughput, total tokens per second, requests per second, RPS

[Tokens pro Sekunde](https://broadrouter.com/de/glossary/tokens-per-second/) sagen Ihnen, wie schnell eine Antwort streamt. Der Durchsatz sagt Ihnen, wie viel ein ganzes System schafft.

## So funktioniert es

Der Benchmark-Leitfaden von NVIDIA trennt beides. **Gesamt-TPS pro System** ist der „total output token throughput across all simultaneous requests“ (Übersetzung: „gesamte Output-Token-Durchsatz über alle gleichzeitigen Anfragen“): alle Output-Tokens geteilt durch die Zeit von der ersten Anfrage bis zur letzten Antwort. **TPS pro Nutzer** ist die Output-Länge einer Anfrage geteilt durch ihre End-to-End-Zeit. **Anfragen pro Sekunde (RPS)** zählen fertige Anfragen statt Tokens.

Der entscheidende Satz: „As the number of concurrent requests increases, total system TPS increases while TPS per user decreases.“ (Übersetzung: „Mit steigender Zahl gleichzeitiger Anfragen steigt die Gesamt-TPS des Systems, während die TPS pro Nutzer sinkt.“) Die Gesamt-TPS steigt, bis die GPU ausgelastet ist, und kann danach sogar fallen.

Auf dem Server ist meist der Speicher die Grenze. Das PagedAttention-Paper erklärt, dass Betrieb mit hohem Durchsatz „requires batching sufficiently many requests at a time“ (Übersetzung: „erfordert, ausreichend viele Anfragen gleichzeitig zu bündeln“), und der [KV-Cache](https://broadrouter.com/de/glossary/kv-cache/) jeder Anfrage entscheidet, wie viele hineinpassen. Durch besseres Speichermanagement erreichte vLLM bei gleicher Latenz den 2- bis 4-fachen Durchsatz früherer Systeme.

## Warum es wichtig ist

Für Sie als API-Nutzer geht es beim Durchsatz um Ihre Seite der Leitung: wie viele Dokumente Sie pro Stunde verarbeiten können oder wie viele Agenten gleichzeitig arbeiten. Dafür gilt eine einfache Faustregel:

```text
your throughput ≈ concurrent requests × per-stream tokens per second
```

Das gilt nur, solange der Anbieter die Geschwindigkeit pro Stream stabil hält, während Sie Last hinzufügen. Messen Sie es; setzen Sie es nicht einfach voraus.

Der Durchsatz wird durch Ihr [Concurrency](https://broadrouter.com/de/glossary/concurrency/)\-Limit und Ihre Rate Limits begrenzt, nicht allein durch das Modell. Ist ein Job langsam, prüfen Sie, ob Anfragen nacheinander laufen, obwohl sie parallel laufen könnten.

## Bei BroadNet Inference

BroadNet veröffentlicht Limits pro Schlüssel, keine Zahl für den Systemdurchsatz. Die Seite mit den Plänen nennt eine typische Geschwindigkeit von etwa 100 Tokens pro Sekunde für DeepSeek V4.1 Flash, das Modell der Pläne; für andere Modelle wird keine Geschwindigkeit veröffentlicht. Zur Veranschaulichung, falls jeder Stream mit diesem Wert liefe:

| Option | Parallele Anfragen | Obergrenze, falls die Geschwindigkeit hält |
| --- | --- | --- |
| Pay-as-you-go-Schlüssel | 4 (und 30 Anfragen pro Minute) | 4 Streams × je etwa 100 Tokens pro Sekunde |
| Stundenschlüssel (Gemma 4 VL 26B) | 1 Stream, 300,000 Tokens pro Minute | nicht veröffentlicht; messen Sie selbst |
| Session im Flatrate-Plan | 1 Anfrage gleichzeitig | etwa 100 Tokens pro Sekunde |

Um einen Flatrate-Plan zu skalieren, fügen Sie Sessions hinzu, eine pro parallel arbeitendem Agenten; siehe [unbegrenzte LLM-API-Sessions](https://broadrouter.com/de/guides/unlimited-llm-api-sessions/) und [parallele Coding-Agenten betreiben](https://broadrouter.com/de/blog/run-parallel-coding-agents-flat-rate/). Diese Geschwindigkeit ist der von BroadNet angegebene typische Wert für DeepSeek V4.1 Flash, keine Garantie für andere Modelle oder unter Last.

## Häufige Fragen

### Ist Durchsatz dasselbe wie Tokens pro Sekunde?

Nur auf Systemebene. Tokens pro Sekunde pro Stream sind die Geschwindigkeit, die eine Anfrage erlebt. Der Durchsatz addiert alle Streams. NVIDIA nennt das TPS pro Nutzer und Gesamt-TPS pro System.

### Wie hole ich mehr Durchsatz aus einer LLM-API?

Lassen Sie mehr Anfragen parallel laufen, bis zu Ihrem Concurrency- und Rate-Limit, und halten Sie jede Anfrage kurz. Nutzt jede Anfrage ihren Slot bereits voll aus, kommen Sie nur mit mehr Slots, Schlüsseln oder Sessions weiter.

### Bedeutet höherer Durchsatz geringere Latenz?

Nein. Durchsatz ist die gesamte Arbeit pro Sekunde über alle Anfragen; Latenz ist die Dauer einer einzelnen Anfrage. Mehr gleichzeitige Anfragen erhöhen den Gesamtdurchsatz, können aber jede einzelne Anfrage verlangsamen. Deshalb weist NVIDIA TPS pro Nutzer und Gesamt-TPS getrennt aus.

## Siehe auch

-   [Tokens pro Sekunde (TPS)](https://broadrouter.com/de/glossary/tokens-per-second/) (Begriff)
-   [Concurrency (Parallelität)](https://broadrouter.com/de/glossary/concurrency/) (Begriff)
-   [Latenz (LLM)](https://broadrouter.com/de/glossary/latency/) (Begriff)
-   [KV-Cache](https://broadrouter.com/de/glossary/kv-cache/) (Begriff)
-   [Batch API](https://broadrouter.com/de/glossary/batch-api/) (Begriff)
-   [Speculative Decoding (spekulatives Dekodieren)](https://broadrouter.com/de/glossary/speculative-decoding/) (Begriff)
-   [So funktionieren die unbegrenzten LLM-API-Pläne für Agenten](https://broadrouter.com/de/guides/unlimited-llm-api-sessions/) (Anleitung)
-   [Fehlercodes von BroadNet Inference: Wann ist ein Retry sinnvoll?](https://broadrouter.com/de/guides/errors-and-retries/) (Anleitung)
-   [Parallele Coding-Agenten mit einer LLM-API-Flatrate betreiben](https://broadrouter.com/de/blog/run-parallel-coding-agents-flat-rate/) (Artikel)
-   [LLM-Latenz: TTFT vs. Tokens pro Sekunde vs. End-to-End-Zeit](https://broadrouter.com/de/blog/llm-latency-ttft-throughput/) (Artikel)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-throughput&utm_content=page-cta) ·

**Quellen**

-   [NVIDIA NIM, Metriken für LLM-Benchmarks (Gesamt-TPS pro System, TPS pro Nutzer, RPS)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [Kwon et al., PagedAttention und vLLM, arXiv 2309.06180](https://arxiv.org/abs/2309.06180)
-   [API-Referenz von BroadNet Inference, Limits (auf Englisch)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-throughput&utm_content=sources#limits)
-   [Pläne von BroadNet Inference (typische Geschwindigkeit, eine Anfrage pro Session) (auf Englisch)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-throughput&utm_content=sources)
