---
title: "Privaten LLM-Endpoint planen: was zuerst festlegen? | BroadRouter"
description: "Was Sie vor der Anfrage nach einem privaten LLM-Endpoint festlegen sollten: Workload, Tokens pro Sekunde, Parallelität, Kontext, Region, Lizenz, Budget und Test."
url: https://broadrouter.com/de/blog/private-endpoint-planning/
lang: de
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/blog/private-endpoint-planning/) (aktualisiert am 2026-11-15).

# Ein privater Endpoint beginnt mit einem klar definierten Workload

Vom Team von BroadNet Inference · 7 Min. Lesezeit · Veröffentlicht 2026-11-15

Bevor Sie einen privaten Endpoint anfragen, schreiben Sie den Workload auf: Anfragen pro Tag und zur Spitzenzeit, Input- und Output-Tokens, die daraus folgende Parallelität, den benötigten Kontext, die Verarbeitungsregion, das Modell und seine Lizenz sowie ein Budget. Vereinbaren Sie Region und Limits schriftlich und testen Sie den bereitgestellten Endpoint, bevor echte Daten fließen.

## Das Wichtigste in Kürze

-   Eine Kapazitätsanfrage ist nur so gut wie ihre Zahlen: Anfragen pro Sekunde zur Spitzenzeit, Input- und Output-Tokens und die Latenz, die Sie akzeptieren können.
-   Die Parallelität folgt aus Littles Gesetz: gleichzeitig laufende Anfragen = Ankunftsrate × Zeit pro Anfrage. Messen Sie die Zeit pro Anfrage zuerst in einem Test.
-   BroadNet beschreibt private Endpoints öffentlich als reservierte GPU-Kapazität mit Preis nach Ihrem Traffic, mit eigenem Schlüssel, eigenen Limits und eigener Region, erreichbar über eine private Modell-ID. Alles Weitere wird mit BroadNet vereinbart.
-   Laut den Nutzungsbedingungen von BroadNet gibt es bei Self-Service keine Verfügbarkeitszusage; private Endpoints und reservierte Kapazität richten sich nach einer separaten schriftlichen Vereinbarung.
-   Testen Sie den bereitgestellten Endpoint vor der Produktion: Modell-ID, Streaming, die vereinbarte Parallelität und die Fehlermeldung bei einer falschen Modell-ID.

**Auf dieser Seite**

1.  Wann lohnt sich ein privater Endpoint?
2.  Was sollte man zum Workload festlegen?
3.  Wie rechnet man Volumen in Tokens pro Sekunde und Parallelität um?
4.  Was ist mit Region, Datenresidenz und Limits?
5.  Welches Modell, und unter welcher Lizenz?
6.  Wie legt man ein Budget fest?
7.  Wie schickt man die Anfrage?
8.  Wie validiert man den bereitgestellten Endpoint?
9.  Wo BroadNet Inference ins Bild passt

„Wir brauchen einen dedizierten Endpoint“ ist der Anfang eines Gesprächs, keine Spezifikation. Ohne Ihre Zahlen kann der Anbieter Kapazität weder dimensionieren noch platzieren noch bepreisen, und ohne diese Zahlen können Sie seine Antwort auch nicht beurteilen. Dieser Beitrag listet, was Sie vor der Anfrage festlegen sollten, anhand eines durchgerechneten Beispiels zur Extraktion von Rechnungsdaten, und endet mit einem Skript, das den bereitgestellten Endpoint prüft.

Er gilt für jeden Anbieter. Wo er das Angebot von BroadNet beschreibt, hält er sich an das, was BroadNet öffentlich sagt, geprüft am 15. November 2026. Alles darüber hinaus ist eine Frage an BroadNet.

## Wann lohnt sich ein privater Endpoint?

Meist aus einem von vier Gründen:

-   **Traffic über den Self-Service-Limits.** Die API-Referenz von BroadNet nennt für einen Pay-as-you-go-Schlüssel 30 Anfragen pro Minute und 4 gleichzeitig laufende Anfragen. Ein stetiger Workload darüber ist eine Kapazitätsfrage, keine Retry-Frage. ([Mit 429-Fehlern umgehen](https://broadrouter.com/de/blog/handle-llm-api-429-rate-limits/) behandelt kurze Spitzen.)
-   **Ein Modell, das nicht auf der öffentlichen Liste steht.** Der Katalog von BroadNet markiert einige Modelle als „available on request“ (auf Anfrage verfügbar), darunter Qwen3-VL 30B-A3B, Qwen3-VL 8B und ein Fine-Tune von Cohere Transcribe Arabic durch BroadNet. [Einen Modellkatalog lesen](https://broadrouter.com/de/blog/understand-model-status/) erklärt den Unterschied.
-   **Ein Verarbeitungsort, den Sie kontrollieren müssen.** Vorgaben zur Datenresidenz, etwa die aus der [Checkliste zum PDPL in Saudi-Arabien und den VAE](https://broadrouter.com/de/blog/saudi-uae-pdpl-llm-api-checklist/), können eine schriftlich vereinbarte Region verlangen.
-   **Planbare Latenz.** Geteilte Kapazität schwankt mit der Last anderer Nutzer. Reservierte Kapazität beseitigt diese Variable, nicht aber die Netzwerkentfernung oder die Größe Ihrer eigenen Prompts.

Trifft nichts davon zu, ist ein Self-Service-Schlüssel einfacher. Und wenn Ihr Volumen sehr hoch und stetig ist, vergleichen Sie mit dem Selbstbetrieb: [Self-Hosting vs. API-Kosten](https://broadrouter.com/de/blog/self-hosting-llm-vs-api-cost/) beschreibt die Methode.

## Was sollte man zum Workload festlegen?

Schreiben Sie ein einseitiges Briefing. Diese Zahlen braucht ein Anbieter:

| Punkt | Was Sie aufschreiben | Beispiel |
| --- | --- | --- |
| Aufgabe | Was das Modell tut, in einem Satz | Rechnungsfotos lesen, JSON-Felder zurückgeben |
| Volumen | Anfragen pro Tag und der Anteil in der verkehrsreichsten Stunde | 40.000 pro Tag, 15 % in der Spitzenstunde |
| Tokens | Durchschnittliche und 95.-Perzentil-Werte für Input- und Output-Tokens | 1.800 Input (ein Seitenbild + Prompt), 350 Output |
| Kontext | Größte einzelne Anfrage, Prompt plus Antwort | 4.000 Tokens |
| Latenz | Akzeptable Zeit bis zum ersten Token und bis zur vollständigen Antwort | Vollständige Antwort innerhalb von 10 Sekunden |
| Streaming | Nötig oder nicht | Nicht nötig (Batch-artig) |
| Eingaben | Text, Bilder, Audio; Formate und Größen | JPEG und PNG, je eine Seite |
| Sprachen | Welche, und der Anteil jeder Sprache | Arabisch und Englisch, 60/40 |
| Wachstum | Erwartetes Volumen in 6 und 12 Monaten | Verdopplung in 12 Monaten |

Messen Sie die Token-Zahlen an echten Beispielen, nicht an Schätzungen. Arabisch braucht für denselben Text oft mehr Tokens als Englisch; der [Arabic Token Counter](https://broadrouter.com/tools/arabic-token-counter/) und [echte Kosten nach Sprache](https://broadrouter.com/data/real-cost-by-language/) zeigen, um wie viel, je nach Tokenizer. Für Bilder liefert der [Bild-Token-Rechner](https://broadrouter.com/tools/image-token-calculator/) eine erste Schätzung.

## Wie rechnet man Volumen in Tokens pro Sekunde und Parallelität um?

Die Anfragen pro Sekunde zur Spitzenzeit sind das Volumen der verkehrsreichsten Stunde geteilt durch 3.600. Die Parallelität, also die Zahl der gleichzeitig laufenden Anfragen, folgt aus [Littles Gesetz](https://en.wikipedia.org/wiki/Little%27s_law): Die durchschnittliche Anzahl in einem System ist gleich der Ankunftsrate mal der durchschnittlichen Verweildauer. Bei einer API heißt das: Anfragen pro Sekunde × Sekunden pro Anfrage.

```python
import math

def size(requests_per_day: int, peak_share_of_day_in_busiest_hour: float,
         in_tokens: int, out_tokens: int, out_tok_per_s_per_stream: float) -> dict:
    """Rough peak numbers to put in a capacity enquiry. Measure your own inputs; these are not provider specs."""
    peak_rps = requests_per_day * peak_share_of_day_in_busiest_hour / 3600
    seconds_per_request = out_tokens / out_tok_per_s_per_stream        # ignores queueing and prompt time
    concurrency = peak_rps * seconds_per_request                      # Little's law: L = λ × W
    return {
        "peak_requests_per_second": round(peak_rps, 2),
        "seconds_per_request": round(seconds_per_request, 1),
        "concurrent_requests_at_peak": math.ceil(concurrency),
        "peak_input_tokens_per_second": round(peak_rps * in_tokens),
        "peak_output_tokens_per_second": round(peak_rps * out_tokens),
        "monthly_tokens_millions": round(requests_per_day * 30 * (in_tokens + out_tokens) / 1e6, 1),
    }

# 40,000 invoice extractions a day, 15% of them in the busiest hour,
# 1,800 tokens in, 350 out, 60 tokens/s per stream measured on a trial.
print(size(40_000, 0.15, 1_800, 350, 60))
```

Es gab 1,67 Anfragen pro Sekunde zur Spitzenzeit aus, etwa 5,8 Sekunden pro Anfrage, 10 gleichzeitige Anfragen, 3.000 Input- und 583 Output-Tokens pro Sekunde und 2.580 Millionen Tokens pro Monat. Die 60 Tokens pro Sekunde sind eine Annahme für das Beispiel; messen Sie Ihren eigenen Wert mit dem Modell, das Sie nutzen werden, denn die Geschwindigkeit variiert mit Modell, Prompt-Länge und Last. Der Beitrag zu [Latenz, TTFT und Durchsatz](https://broadrouter.com/de/blog/llm-latency-ttft-throughput/) erklärt, was Sie messen sollten.

Zwei Vorbehalte. Die Formel ignoriert die Verarbeitungszeit des Prompts; lange Prompts oder große Bilder machen echte Anfragen also langsamer und treiben die Parallelität nach oben. Und Durchschnittswerte verbergen Spitzen: Geben Sie dem Anbieter die Anfragegröße im 95. Perzentil und ein kurzes Lastspitzenprofil, nicht nur den Mittelwert. Die Spitze in diesem Beispiel (etwa 100 Anfragen pro Minute und 10 gleichzeitig) liegt deutlich über den veröffentlichten Self-Service-Limits eines einzelnen Pay-as-you-go-Schlüssels, und genau dann lohnt sich ein Gespräch über Kapazität.

## Was ist mit Region, Datenresidenz und Limits?

Vereinbaren Sie diese ausdrücklich und schriftlich, bevor regulierte Daten fließen. Die Nutzungsbedingungen von BroadNet (§7.3a) sagen: „Contact us to agree processing locations for your deployment before sending data with residency requirements“ (Übersetzung: „Kontaktieren Sie uns, um Verarbeitungsorte für Ihr Deployment zu vereinbaren, bevor Sie Daten mit Anforderungen an die Datenresidenz senden“), und dass bei partnergehosteter und Backup-Verarbeitung weitere Auftragsverarbeiter beteiligt sind; eine aktuelle Liste der Unterauftragsverarbeiter erhalten Kunden auf Anfrage. Laut Datenschutzerklärung laufen die eigenen und gehosteten Open-Weight-Modelle von BroadNet auf eigener oder gemieteter Hardware von BroadNet in den USA, mit Partnerkapazität als Backup, und die Übersichtsseite sagt, dass regionale Verarbeitung in MENA oder Europa auf Anfrage möglich ist.

Die Fragen an jeden Anbieter lauten also:

1.  Welche Region verarbeitet die Anfragen, und in welcher Region liegt die Backup-Kapazität?
2.  Welche Unterauftragsverarbeiter können mit dem Traffic in Berührung kommen, auch bei Failover oder Überlauf?
3.  Welche Raten-, Parallelitäts- und Token-Limits hat der Endpoint, und was passiert darüber?
4.  Welche Verfügbarkeits- und Support-Bedingungen gelten, und wo sind sie festgehalten? Die Nutzungsbedingungen von BroadNet (§7.4) sagen, dass es bei Self-Service keine Verfügbarkeitszusage gibt und dass sich private Endpoints und reservierte Kapazität nach Ihrer separaten schriftlichen Vereinbarung richten. Was schriftliche SLAs anderer Anbieter abdecken, lesen Sie in [SLAs von LLM-APIs im Vergleich](https://broadrouter.com/de/blog/llm-api-sla-uptime-compared/).
5.  Was wird aufbewahrt? Für die Inferenz-API von BroadNet lautet die veröffentlichte Position: Inferenz-Inhalte werden nicht gespeichert; notwendige Konto-, Abrechnungs- und Sicherheitsmetadaten werden so aufbewahrt, wie es die [Datenschutzerklärung](https://www.broadnet.ai/inference-privacy) beschreibt. Lassen Sie sich bestätigen, dass dasselbe für Ihren Endpoint gilt.

## Welches Modell, und unter welcher Lizenz?

Nennen Sie das genaue Modell und die Version und prüfen Sie, ob die Lizenz Ihre Nutzung und den Betrieb per API erlaubt. Die Modellseiten von BroadNet nennen Apache-2.0 für Gemma 4 26B, Qwen3-VL 30B-A3B und die Basisgewichte von Cohere Transcribe, wobei der Fine-Tune von Cohere Transcribe Arabic durch BroadNet „under contract“ (unter Vertrag) steht. Laut Nutzungsbedingungen unterliegen Modelle ihren Lizenzen, und die Lizenz von DeepSeek V4.1 Flash gilt auch dann, wenn das Modell bei einem Partner gehostet wird.

Vereinbaren Sie auch das Kontextfenster. Kontextlimits hängen vom Modell und vom Deployment ab, nicht nur vom Maximum des Basismodells: BroadNet nennt 32K Tokens für Gemma 4 VL 26B in seiner öffentlichen API und 16K für Qwen3-VL 30B-A3B, das auf Anfrage verfügbar ist. Prüfen Sie mit dem [Kontextfenster-Rechner](https://broadrouter.com/tools/context-window-calculator/) Ihre größte Anfrage, nicht Ihre durchschnittliche.

## Wie legt man ein Budget fest?

BroadNet veröffentlicht keinen Preis für private Endpoints; die Übersichtsseite sagt „Reserved GPU, priced to your traffic. Ask for a quote.“ (Übersetzung: „Reservierte GPU, bepreist nach Ihrem Traffic. Fragen Sie nach einem Angebot.“) Legen Sie also zuerst Ihre eigene Obergrenze fest. Bepreisen Sie denselben Workload im Self-Service mit dem [LLM-API-Kostenrechner](https://broadrouter.com/tools/llm-api-cost-calculator/), mit der monatlichen Token-Zahl aus dem Dimensionierungsskript, und entscheiden Sie, was Ihnen planbare Kapazität, eine Region oder ein nicht öffentliches Modell zusätzlich wert ist. Ein Angebot unter dem Self-Service-Wert ist ein Bonus; ein Angebot weit darüber braucht eine Begründung aus Ihrer Anforderungsliste.

## Wie schickt man die Anfrage?

Die API-Referenz von BroadNet sagt: „Private endpoints, our Arabic fine-tunes and other models on request are reached with a private ID issued with the endpoint.“ (Übersetzung: „Private Endpoints, unsere arabischen Fine-Tunes und andere Modelle auf Anfrage werden über eine private ID erreicht, die mit dem Endpoint ausgegeben wird.“) Die Übersichtsseite bittet um „your model, languages and traffic requirements“ (Übersetzung: „Ihr Modell, Ihre Sprachen und Ihre Traffic-Anforderungen“). Schicken Sie Ihr einseitiges Briefing über die [Kontaktseite](https://broadrouter.com/de/contact/#private), ohne API-Schlüssel oder Kundendaten. Fügen Sie die Ausgabe der Dimensionierung, die Region, Modell und Lizenz, das Latenzziel, Ihre Budgetobergrenze und Ihren Zeitplan bei.

## Wie validiert man den bereitgestellten Endpoint?

Testen Sie den Endpoint vor dem Produktions-Traffic gegen das Vereinbarte. Dieses Skript nutzt nur die Python-Standardbibliothek. Es prüft, ob die private Modell-ID funktioniert, ob Streaming mit der Markierung `data: [DONE]` endet, die die Doku von BroadNet beschreibt, ob die vereinbarte Parallelität ohne 429 läuft und ob eine falsche Modell-ID abgelehnt wird.

```python
import json, os, sys, time, urllib.error, urllib.request
from concurrent.futures import ThreadPoolExecutor

BASE = os.environ["ENDPOINT_BASE_URL"].rstrip("/")    # from your agreement, e.g. https://.../v1
KEY = os.environ["ENDPOINT_API_KEY"]
MODEL = os.environ["ENDPOINT_MODEL_ID"]                # the private ID issued with the endpoint
AGREED_CONCURRENCY = int(os.environ.get("AGREED_CONCURRENCY", "4"))

def post(payload: dict, stream=False):
    req = urllib.request.Request(f"{BASE}/chat/completions", data=json.dumps(payload).encode(),
        headers={"Authorization": f"Bearer {KEY}", "Content-Type": "application/json"})
    t0 = time.monotonic()
    try:
        with urllib.request.urlopen(req, timeout=120) as r:
            body = r.read().decode()
            return r.status, r.headers.get("X-Request-ID"), body, time.monotonic() - t0
    except urllib.error.HTTPError as e:
        return e.code, e.headers.get("X-Request-ID"), e.read().decode(), time.monotonic() - t0

def main() -> int:
    msg = [{"role": "user", "content": "Reply with the word OK."}]
    results = {}
    code, rid, body, secs = post({"model": MODEL, "messages": msg, "max_tokens": 1000})
    ok = code == 200 and "usage" in json.loads(body)
    results["model_id_accepted"] = (ok, f"HTTP {code}, request ID {rid}, {secs:.2f}s")
    code, _, body, _ = post({"model": MODEL, "messages": msg, "stream": True,
                             "stream_options": {"include_usage": True}})
    results["stream_ends_with_DONE"] = (code == 200 and body.rstrip().endswith("data: [DONE]"), f"HTTP {code}")
    with ThreadPoolExecutor(AGREED_CONCURRENCY) as pool:
        codes = list(pool.map(lambda _: post({"model": MODEL, "messages": msg, "max_tokens": 1000})[0],
                              range(AGREED_CONCURRENCY)))
    results["agreed_concurrency_no_429"] = (all(c == 200 for c in codes), f"codes {sorted(codes)}")
    code, _, _, _ = post({"model": MODEL + "-typo", "messages": msg})
    results["unknown_model_rejected"] = (code in (400, 403, 404), f"HTTP {code}")
    for name, (passed, note) in results.items():
        print(f"{'PASS' if passed else 'FAIL'}  {name}: {note}")
    return 0 if all(p for p, _ in results.values()) else 1

if __name__ == "__main__":
    sys.exit(main())
```

Wir haben es gegen einen lokalen Mock-Server (keinen echten Endpoint) laufen lassen, der 8 gleichzeitige Anfragen erlaubt. Mit `AGREED_CONCURRENCY=8` bestanden alle vier Prüfungen. Mit 12 scheiterte die Parallelitätsprüfung mit acht 200ern und vier 429ern, und genau dieses Ergebnis wollen Sie vor dem Launch sehen statt danach. `max_tokens=1000` lässt Raum für Reasoning-Modelle, die einen Teil des Budgets vor der Antwort verbrauchen.

Führen Sie nach dem Smoke-Test einen kurzen Lasttest bei Ihrer gemessenen Spitze mit Prompts in realer Größe durch und protokollieren Sie die Zeit bis zum ersten Token und die Latenz bis zur vollständigen Antwort. Bewahren Sie die Request-IDs auf; die Doku von BroadNet bittet bei Support-Anfragen um `X-Request-ID`, Zeitstempel, Route und Status.

## Wo BroadNet Inference ins Bild passt

BroadRouter ist die eigene Website von BroadNet. BroadNet Inference verkauft Self-Service-Zugang zu öffentlichen Modellen pro Token, pro Audiominute, per Session-Plan und per Stundenschlüssel; die Preise stehen auf der [Preisseite](https://broadrouter.com/de/pricing/). Private Endpoints, regionale Verarbeitung, Fine-Tunes und als „on request“ gelistete Modelle sind kein Self-Service: Es sind Anfragen, für die BroadNet ein Angebot erstellt und die schriftlich vereinbart werden. Dieser Beitrag kann Ihnen nicht sagen, was BroadNet für Ihren Workload anbieten wird. Ein klares Briefing ist der Weg, es herauszufinden.

Kostenlose Tools zum Thema (auf Englisch)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Kostenlose Tools (auf Englisch)](https://broadrouter.com/tools/)

## Begriffe in diesem Artikel

[Token](https://broadrouter.com/de/glossary/token/)

Ein Token ist die Texteinheit, die ein Sprachmodell liest und schreibt: ein Wort, ein Wortteil, ein Satzzeichen oder eine Bytefolge, die der Tokenizer des Modells erzeugt. LLM-APIs zählen, begrenzen und berechnen die Nutzung meist in Tokens.

[Tool Calling (Function Calling)](https://broadrouter.com/de/glossary/tool-calling/)

Tool Calling, auch Function Calling genannt, ist eine Funktion von LLM-APIs, bei der das Modell eine strukturierte Anfrage zurückgibt, eine vom Entwickler definierte Funktion mit JSON-Argumenten auszuführen. Die Anwendung führt die Funktion aus und sendet das Ergebnis zurück; das Modell selbst führt nie Code aus.

[Concurrency (Parallelität)](https://broadrouter.com/de/glossary/concurrency/)

Concurrency (Parallelität) ist die Zahl der Anfragen, die ein Client gleichzeitig offen hat. LLM-APIs begrenzen sie oft pro Schlüssel oder Plan, getrennt von den Anfragen pro Minute, weil jede offene Anfrage GPU-Kapazität belegt, bis ihre Antwort fertig ist.

[Durchsatz (Throughput)](https://broadrouter.com/de/glossary/throughput/)

Durchsatz (Throughput) ist beim Betrieb von LLMs die gesamte Arbeit, die ein System pro Zeiteinheit über alle gleichzeitigen Anfragen erledigt, meist gemessen in Output-Tokens pro Sekunde oder Anfragen pro Sekunde. Er unterscheidet sich von der Geschwindigkeit pro Stream, also davon, wie schnell eine einzelne Anfrage ihre Tokens erhält.

[Latenz (LLM)](https://broadrouter.com/de/glossary/latency/)

Latenz ist bei einer Sprachmodell-API die Zeit, die eine Anfrage vom Senden bis zum Empfang des letzten Output-Tokens braucht. Sie ist die Summe aus Time to First Token und Generierungszeit und wird meist als Perzentile wie p50 und p95 angegeben statt als Durchschnitt.

[Datenresidenz (Data Residency)](https://broadrouter.com/de/glossary/data-residency/)

Datenresidenz ist eine Anforderung oder Zusage, dass Daten in einem bestimmten Land oder einer bestimmten Region gespeichert und verarbeitet werden. Bei einer LLM-API betrifft sie, wo Prompts bei der Inferenz verarbeitet werden und wo gespeicherte Inhalte liegen; Konto- und Abrechnungsdaten sind oft ausgenommen.

[Input- und Output-Tokens](https://broadrouter.com/de/glossary/input-and-output-tokens/)

Input-Tokens sind die Tokens, die ein Sprachmodell in einer Anfrage liest, einschließlich System-Prompt, Gesprächsverlauf, Tool-Definitionen und Bildern. Output-Tokens sind die Tokens, die es als Antwort erzeugt, einschließlich Reasoning. LLM-APIs berechnen beide meist getrennt, und Output ist in der Regel teurer.

[Kontextfenster (Context Window)](https://broadrouter.com/de/glossary/context-window/)

Das Kontextfenster ist die maximale Anzahl an Tokens, mit der ein Sprachmodell in einer einzelnen Anfrage arbeiten kann. Es umfasst Prompt, Gesprächsverlauf, Tool-Definitionen, Bilder und den erzeugten Output einschließlich Reasoning-Tokens. Was nicht hineinpasst, muss gekürzt, zusammengefasst oder auf mehrere Anfragen verteilt werden.

## Häufige Fragen

### Was ist ein privater LLM-Endpoint?

Ein API-Endpoint, hinter dem Kapazität steht, die für einen einzigen Kunden reserviert ist, statt sie mit allen Self-Service-Nutzern zu teilen. BroadNet beschreibt seine Variante als reservierte GPU oder reservierten Node mit dem Modell Ihrer Wahl, eigenem Schlüssel und eigenen Limits und der Region, die Sie brauchen, erreichbar über eine private Modell-ID.

### Wie schätze ich die benötigte Parallelität ab?

Mit Littles Gesetz: gleichzeitige Anfragen = Anfragen pro Sekunde zur Spitzenzeit × Sekunden pro Anfrage. 1,67 Anfragen pro Sekunde mit je etwa 5,8 Sekunden ergeben etwa 10 gleichzeitig laufende Anfragen. Messen Sie die Sekunden pro Anfrage mit dem echten Modell und Ihren echten Prompts.

### Kann ich einen privaten Endpoint bei BroadNet per Self-Service buchen?

Nein. BroadNet behandelt private Endpoints, regionale Verarbeitung und nicht gelistete Modelle als Anfragen: Sie beschreiben den Workload, und BroadNet erstellt ein Angebot. Laut den Nutzungsbedingungen richten sich private Endpoints und reservierte Kapazität nach einer separaten schriftlichen Vereinbarung.

### Gibt es für einen privaten Endpoint ein SLA?

Nur wenn Ihre schriftliche Vereinbarung das vorsieht. Die Nutzungsbedingungen von BroadNet halten fest, dass es bei Self-Service keine Verfügbarkeitszusage gibt und Service-Levels nur in einer separaten schriftlichen Vereinbarung existieren. Fragen Sie nach den genauen Bedingungen, bevor Sie sich darauf verlassen.

### Wo werden meine Daten verarbeitet?

Vereinbaren Sie das, bevor Sie Daten senden. Die Nutzungsbedingungen von BroadNet bitten Kunden mit Anforderungen an die Datenresidenz, die Verarbeitungsorte vorher zu vereinbaren, und sagen, dass bei partnergehosteter und Backup-Verarbeitung weitere Auftragsverarbeiter beteiligt sind; eine Liste der Unterauftragsverarbeiter erhalten Kunden auf Anfrage.

## Weiterlesen

-   [LLM selbst hosten oder API: echte Kosten und Break-even](https://broadrouter.com/de/blog/self-hosting-llm-vs-api-cost/)
-   [LLM-Latenz: TTFT vs. Tokens pro Sekunde vs. End-to-End-Zeit](https://broadrouter.com/de/blog/llm-latency-ttft-throughput/)
-   [PDPL in Saudi-Arabien und den VAE: Checkliste für LLM-API-Transfers](https://broadrouter.com/de/blog/saudi-uae-pdpl-llm-api-checklist/)
-   [LLM-API-Anbieter auswählen: Checkliste mit 20 Punkten](https://broadrouter.com/de/blog/choose-llm-api-provider-checklist/)
-   [LLM-API-Kosten vor dem Launch eines Features schätzen](https://broadrouter.com/de/blog/estimate-llm-api-cost-before-launch/)
-   [LLM-API-Fehler 429 behandeln: Backoff, Jitter und Limiter](https://broadrouter.com/de/blog/handle-llm-api-429-rate-limits/)
-   [Live, auf Anfrage, Forschung: einen Modellkatalog richtig lesen](https://broadrouter.com/de/blog/understand-model-status/)
-   [GPU-Hardware und Serving von BroadNet, wie BroadNet sie beschreibt](https://broadrouter.com/de/blog/broadnet-gpu-fleet-and-serving/)
-   [LLM-Antworten cachen, Kosten senken: ein Exact-Match-Cache in Python](https://broadrouter.com/de/blog/cache-llm-responses-cut-cost/)
-   [Anleitung: Fehlercodes von BroadNet Inference: Wann ist ein Retry sinnvoll?](https://broadrouter.com/de/guides/errors-and-retries/)
-   [Anleitung: API-Schlüssel per IP-Allowlist an Ihre Server binden](https://broadrouter.com/de/guides/api-keys-ip-allow-lists/)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-blog-private-endpoint-planning&utm_content=page-cta) ·

**Quellen**

-   [Übersicht von BroadNet Inference: privater Endpoint „Reserved GPU, priced to your traffic“, regionale Verarbeitung auf Anfrage (geprüft am 2026-11-15) (auf Englisch)](https://www.broadnet.ai/inference)
-   [Modellkatalog von BroadNet: auf Anfrage verfügbar, private Multi-GPU-Endpoints pro Kunde dimensioniert (geprüft am 2026-11-15) (auf Englisch)](https://www.broadnet.ai/inference/models)
-   [Modellseite von BroadNet, Qwen3-VL 30B-A3B Instruct: auf Anfrage, private ID pro Kunde, 16K Kontext (geprüft am 2026-11-15) (auf Englisch)](https://www.broadnet.ai/inference/models/qwen3-vl-30b-a3b)
-   [Modellseite von BroadNet, Gemma 4 VL 26B: privater Endpoint mit eigenem Schlüssel, eigenen Limits und eigener Region (geprüft am 2026-11-15) (auf Englisch)](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
-   [Nutzungsbedingungen von BroadNet, §7.3a Hosting- und Verarbeitungsorte und §7.4 Verfügbarkeit, zuletzt aktualisiert am 23. September 2026 (geprüft am 2026-11-15) (auf Englisch)](https://www.broadnet.ai/terms)
-   [API-Referenz von BroadNet Inference: private IDs, Pay-as-you-go-Limits, Streaming, Fehler (geprüft am 2026-11-15) (auf Englisch)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-blog-private-endpoint-planning&utm_content=sources)
-   [Erklärung von BroadNet Inference zu Datenschutz und Datenaufbewahrung: wo die Verarbeitung stattfindet (geprüft am 2026-11-15) (auf Englisch)](https://www.broadnet.ai/inference-privacy)
-   [Littles Gesetz, L = λW (Wikipedia, geprüft am 2026-11-15)](https://en.wikipedia.org/wiki/Little%27s_law)
