BroadRouter

Ein privater Endpoint beginnt mit einem klar definierten Workload

Vom Team von BroadNet Inference · 7 Min. Lesezeit · Veröffentlicht

Bevor Sie einen privaten Endpoint anfragen, schreiben Sie den Workload auf: Anfragen pro Tag und zur Spitzenzeit, Input- und Output-Tokens, die daraus folgende Parallelität, den benötigten Kontext, die Verarbeitungsregion, das Modell und seine Lizenz sowie ein Budget. Vereinbaren Sie Region und Limits schriftlich und testen Sie den bereitgestellten Endpoint, bevor echte Daten fließen.

„Wir brauchen einen dedizierten Endpoint“ ist der Anfang eines Gesprächs, keine Spezifikation. Ohne Ihre Zahlen kann der Anbieter Kapazität weder dimensionieren noch platzieren noch bepreisen, und ohne diese Zahlen können Sie seine Antwort auch nicht beurteilen. Dieser Beitrag listet, was Sie vor der Anfrage festlegen sollten, anhand eines durchgerechneten Beispiels zur Extraktion von Rechnungsdaten, und endet mit einem Skript, das den bereitgestellten Endpoint prüft.

Er gilt für jeden Anbieter. Wo er das Angebot von BroadNet beschreibt, hält er sich an das, was BroadNet öffentlich sagt, geprüft am 15. November 2026. Alles darüber hinaus ist eine Frage an BroadNet.

Wann lohnt sich ein privater Endpoint?

Meist aus einem von vier Gründen:

  • Traffic über den Self-Service-Limits. Die API-Referenz von BroadNet nennt für einen Pay-as-you-go-Schlüssel 30 Anfragen pro Minute und 4 gleichzeitig laufende Anfragen. Ein stetiger Workload darüber ist eine Kapazitätsfrage, keine Retry-Frage. (Mit 429-Fehlern umgehen behandelt kurze Spitzen.)
  • Ein Modell, das nicht auf der öffentlichen Liste steht. Der Katalog von BroadNet markiert einige Modelle als „available on request“ (auf Anfrage verfügbar), darunter Qwen3-VL 30B-A3B, Qwen3-VL 8B und ein Fine-Tune von Cohere Transcribe Arabic durch BroadNet. Einen Modellkatalog lesen erklärt den Unterschied.
  • Ein Verarbeitungsort, den Sie kontrollieren müssen. Vorgaben zur Datenresidenz, etwa die aus der Checkliste zum PDPL in Saudi-Arabien und den VAE, können eine schriftlich vereinbarte Region verlangen.
  • Planbare Latenz. Geteilte Kapazität schwankt mit der Last anderer Nutzer. Reservierte Kapazität beseitigt diese Variable, nicht aber die Netzwerkentfernung oder die Größe Ihrer eigenen Prompts.

Trifft nichts davon zu, ist ein Self-Service-Schlüssel einfacher. Und wenn Ihr Volumen sehr hoch und stetig ist, vergleichen Sie mit dem Selbstbetrieb: Self-Hosting vs. API-Kosten beschreibt die Methode.

Was sollte man zum Workload festlegen?

Schreiben Sie ein einseitiges Briefing. Diese Zahlen braucht ein Anbieter:

Punkt Was Sie aufschreiben Beispiel
Aufgabe Was das Modell tut, in einem Satz Rechnungsfotos lesen, JSON-Felder zurückgeben
Volumen Anfragen pro Tag und der Anteil in der verkehrsreichsten Stunde 40.000 pro Tag, 15 % in der Spitzenstunde
Tokens Durchschnittliche und 95.-Perzentil-Werte für Input- und Output-Tokens 1.800 Input (ein Seitenbild + Prompt), 350 Output
Kontext Größte einzelne Anfrage, Prompt plus Antwort 4.000 Tokens
Latenz Akzeptable Zeit bis zum ersten Token und bis zur vollständigen Antwort Vollständige Antwort innerhalb von 10 Sekunden
Streaming Nötig oder nicht Nicht nötig (Batch-artig)
Eingaben Text, Bilder, Audio; Formate und Größen JPEG und PNG, je eine Seite
Sprachen Welche, und der Anteil jeder Sprache Arabisch und Englisch, 60/40
Wachstum Erwartetes Volumen in 6 und 12 Monaten Verdopplung in 12 Monaten

Messen Sie die Token-Zahlen an echten Beispielen, nicht an Schätzungen. Arabisch braucht für denselben Text oft mehr Tokens als Englisch; der Arabic Token Counter und echte Kosten nach Sprache zeigen, um wie viel, je nach Tokenizer. Für Bilder liefert der Bild-Token-Rechner eine erste Schätzung.

Wie rechnet man Volumen in Tokens pro Sekunde und Parallelität um?

Die Anfragen pro Sekunde zur Spitzenzeit sind das Volumen der verkehrsreichsten Stunde geteilt durch 3.600. Die Parallelität, also die Zahl der gleichzeitig laufenden Anfragen, folgt aus Littles Gesetz: Die durchschnittliche Anzahl in einem System ist gleich der Ankunftsrate mal der durchschnittlichen Verweildauer. Bei einer API heißt das: Anfragen pro Sekunde × Sekunden pro Anfrage.

import math

def size(requests_per_day: int, peak_share_of_day_in_busiest_hour: float,
         in_tokens: int, out_tokens: int, out_tok_per_s_per_stream: float) -> dict:
    """Rough peak numbers to put in a capacity enquiry. Measure your own inputs; these are not provider specs."""
    peak_rps = requests_per_day * peak_share_of_day_in_busiest_hour / 3600
    seconds_per_request = out_tokens / out_tok_per_s_per_stream        # ignores queueing and prompt time
    concurrency = peak_rps * seconds_per_request                      # Little's law: L = λ × W
    return {
        "peak_requests_per_second": round(peak_rps, 2),
        "seconds_per_request": round(seconds_per_request, 1),
        "concurrent_requests_at_peak": math.ceil(concurrency),
        "peak_input_tokens_per_second": round(peak_rps * in_tokens),
        "peak_output_tokens_per_second": round(peak_rps * out_tokens),
        "monthly_tokens_millions": round(requests_per_day * 30 * (in_tokens + out_tokens) / 1e6, 1),
    }

# 40,000 invoice extractions a day, 15% of them in the busiest hour,
# 1,800 tokens in, 350 out, 60 tokens/s per stream measured on a trial.
print(size(40_000, 0.15, 1_800, 350, 60))

Es gab 1,67 Anfragen pro Sekunde zur Spitzenzeit aus, etwa 5,8 Sekunden pro Anfrage, 10 gleichzeitige Anfragen, 3.000 Input- und 583 Output-Tokens pro Sekunde und 2.580 Millionen Tokens pro Monat. Die 60 Tokens pro Sekunde sind eine Annahme für das Beispiel; messen Sie Ihren eigenen Wert mit dem Modell, das Sie nutzen werden, denn die Geschwindigkeit variiert mit Modell, Prompt-Länge und Last. Der Beitrag zu Latenz, TTFT und Durchsatz erklärt, was Sie messen sollten.

Zwei Vorbehalte. Die Formel ignoriert die Verarbeitungszeit des Prompts; lange Prompts oder große Bilder machen echte Anfragen also langsamer und treiben die Parallelität nach oben. Und Durchschnittswerte verbergen Spitzen: Geben Sie dem Anbieter die Anfragegröße im 95. Perzentil und ein kurzes Lastspitzenprofil, nicht nur den Mittelwert. Die Spitze in diesem Beispiel (etwa 100 Anfragen pro Minute und 10 gleichzeitig) liegt deutlich über den veröffentlichten Self-Service-Limits eines einzelnen Pay-as-you-go-Schlüssels, und genau dann lohnt sich ein Gespräch über Kapazität.

Was ist mit Region, Datenresidenz und Limits?

Vereinbaren Sie diese ausdrücklich und schriftlich, bevor regulierte Daten fließen. Die Nutzungsbedingungen von BroadNet (§7.3a) sagen: „Contact us to agree processing locations for your deployment before sending data with residency requirements“ (Übersetzung: „Kontaktieren Sie uns, um Verarbeitungsorte für Ihr Deployment zu vereinbaren, bevor Sie Daten mit Anforderungen an die Datenresidenz senden“), und dass bei partnergehosteter und Backup-Verarbeitung weitere Auftragsverarbeiter beteiligt sind; eine aktuelle Liste der Unterauftragsverarbeiter erhalten Kunden auf Anfrage. Laut Datenschutzerklärung laufen die eigenen und gehosteten Open-Weight-Modelle von BroadNet auf eigener oder gemieteter Hardware von BroadNet in den USA, mit Partnerkapazität als Backup, und die Übersichtsseite sagt, dass regionale Verarbeitung in MENA oder Europa auf Anfrage möglich ist.

Die Fragen an jeden Anbieter lauten also:

  1. Welche Region verarbeitet die Anfragen, und in welcher Region liegt die Backup-Kapazität?
  2. Welche Unterauftragsverarbeiter können mit dem Traffic in Berührung kommen, auch bei Failover oder Überlauf?
  3. Welche Raten-, Parallelitäts- und Token-Limits hat der Endpoint, und was passiert darüber?
  4. Welche Verfügbarkeits- und Support-Bedingungen gelten, und wo sind sie festgehalten? Die Nutzungsbedingungen von BroadNet (§7.4) sagen, dass es bei Self-Service keine Verfügbarkeitszusage gibt und dass sich private Endpoints und reservierte Kapazität nach Ihrer separaten schriftlichen Vereinbarung richten. Was schriftliche SLAs anderer Anbieter abdecken, lesen Sie in SLAs von LLM-APIs im Vergleich.
  5. Was wird aufbewahrt? Für die Inferenz-API von BroadNet lautet die veröffentlichte Position: Inferenz-Inhalte werden nicht gespeichert; notwendige Konto-, Abrechnungs- und Sicherheitsmetadaten werden so aufbewahrt, wie es die Datenschutzerklärung beschreibt. Lassen Sie sich bestätigen, dass dasselbe für Ihren Endpoint gilt.

Welches Modell, und unter welcher Lizenz?

Nennen Sie das genaue Modell und die Version und prüfen Sie, ob die Lizenz Ihre Nutzung und den Betrieb per API erlaubt. Die Modellseiten von BroadNet nennen Apache-2.0 für Gemma 4 26B, Qwen3-VL 30B-A3B und die Basisgewichte von Cohere Transcribe, wobei der Fine-Tune von Cohere Transcribe Arabic durch BroadNet „under contract“ (unter Vertrag) steht. Laut Nutzungsbedingungen unterliegen Modelle ihren Lizenzen, und die Lizenz von DeepSeek V4.1 Flash gilt auch dann, wenn das Modell bei einem Partner gehostet wird.

Vereinbaren Sie auch das Kontextfenster. Kontextlimits hängen vom Modell und vom Deployment ab, nicht nur vom Maximum des Basismodells: BroadNet nennt 32K Tokens für Gemma 4 VL 26B in seiner öffentlichen API und 16K für Qwen3-VL 30B-A3B, das auf Anfrage verfügbar ist. Prüfen Sie mit dem Kontextfenster-Rechner Ihre größte Anfrage, nicht Ihre durchschnittliche.

Wie legt man ein Budget fest?

BroadNet veröffentlicht keinen Preis für private Endpoints; die Übersichtsseite sagt „Reserved GPU, priced to your traffic. Ask for a quote.“ (Übersetzung: „Reservierte GPU, bepreist nach Ihrem Traffic. Fragen Sie nach einem Angebot.“) Legen Sie also zuerst Ihre eigene Obergrenze fest. Bepreisen Sie denselben Workload im Self-Service mit dem LLM-API-Kostenrechner, mit der monatlichen Token-Zahl aus dem Dimensionierungsskript, und entscheiden Sie, was Ihnen planbare Kapazität, eine Region oder ein nicht öffentliches Modell zusätzlich wert ist. Ein Angebot unter dem Self-Service-Wert ist ein Bonus; ein Angebot weit darüber braucht eine Begründung aus Ihrer Anforderungsliste.

Wie schickt man die Anfrage?

Die API-Referenz von BroadNet sagt: „Private endpoints, our Arabic fine-tunes and other models on request are reached with a private ID issued with the endpoint.“ (Übersetzung: „Private Endpoints, unsere arabischen Fine-Tunes und andere Modelle auf Anfrage werden über eine private ID erreicht, die mit dem Endpoint ausgegeben wird.“) Die Übersichtsseite bittet um „your model, languages and traffic requirements“ (Übersetzung: „Ihr Modell, Ihre Sprachen und Ihre Traffic-Anforderungen“). Schicken Sie Ihr einseitiges Briefing über die Kontaktseite, ohne API-Schlüssel oder Kundendaten. Fügen Sie die Ausgabe der Dimensionierung, die Region, Modell und Lizenz, das Latenzziel, Ihre Budgetobergrenze und Ihren Zeitplan bei.

Wie validiert man den bereitgestellten Endpoint?

Testen Sie den Endpoint vor dem Produktions-Traffic gegen das Vereinbarte. Dieses Skript nutzt nur die Python-Standardbibliothek. Es prüft, ob die private Modell-ID funktioniert, ob Streaming mit der Markierung data: [DONE] endet, die die Doku von BroadNet beschreibt, ob die vereinbarte Parallelität ohne 429 läuft und ob eine falsche Modell-ID abgelehnt wird.

import json, os, sys, time, urllib.error, urllib.request
from concurrent.futures import ThreadPoolExecutor

BASE = os.environ["ENDPOINT_BASE_URL"].rstrip("/")    # from your agreement, e.g. https://.../v1
KEY = os.environ["ENDPOINT_API_KEY"]
MODEL = os.environ["ENDPOINT_MODEL_ID"]                # the private ID issued with the endpoint
AGREED_CONCURRENCY = int(os.environ.get("AGREED_CONCURRENCY", "4"))

def post(payload: dict, stream=False):
    req = urllib.request.Request(f"{BASE}/chat/completions", data=json.dumps(payload).encode(),
        headers={"Authorization": f"Bearer {KEY}", "Content-Type": "application/json"})
    t0 = time.monotonic()
    try:
        with urllib.request.urlopen(req, timeout=120) as r:
            body = r.read().decode()
            return r.status, r.headers.get("X-Request-ID"), body, time.monotonic() - t0
    except urllib.error.HTTPError as e:
        return e.code, e.headers.get("X-Request-ID"), e.read().decode(), time.monotonic() - t0

def main() -> int:
    msg = [{"role": "user", "content": "Reply with the word OK."}]
    results = {}
    code, rid, body, secs = post({"model": MODEL, "messages": msg, "max_tokens": 1000})
    ok = code == 200 and "usage" in json.loads(body)
    results["model_id_accepted"] = (ok, f"HTTP {code}, request ID {rid}, {secs:.2f}s")
    code, _, body, _ = post({"model": MODEL, "messages": msg, "stream": True,
                             "stream_options": {"include_usage": True}})
    results["stream_ends_with_DONE"] = (code == 200 and body.rstrip().endswith("data: [DONE]"), f"HTTP {code}")
    with ThreadPoolExecutor(AGREED_CONCURRENCY) as pool:
        codes = list(pool.map(lambda _: post({"model": MODEL, "messages": msg, "max_tokens": 1000})[0],
                              range(AGREED_CONCURRENCY)))
    results["agreed_concurrency_no_429"] = (all(c == 200 for c in codes), f"codes {sorted(codes)}")
    code, _, _, _ = post({"model": MODEL + "-typo", "messages": msg})
    results["unknown_model_rejected"] = (code in (400, 403, 404), f"HTTP {code}")
    for name, (passed, note) in results.items():
        print(f"{'PASS' if passed else 'FAIL'}  {name}: {note}")
    return 0 if all(p for p, _ in results.values()) else 1

if __name__ == "__main__":
    sys.exit(main())

Wir haben es gegen einen lokalen Mock-Server (keinen echten Endpoint) laufen lassen, der 8 gleichzeitige Anfragen erlaubt. Mit AGREED_CONCURRENCY=8 bestanden alle vier Prüfungen. Mit 12 scheiterte die Parallelitätsprüfung mit acht 200ern und vier 429ern, und genau dieses Ergebnis wollen Sie vor dem Launch sehen statt danach. max_tokens=1000 lässt Raum für Reasoning-Modelle, die einen Teil des Budgets vor der Antwort verbrauchen.

Führen Sie nach dem Smoke-Test einen kurzen Lasttest bei Ihrer gemessenen Spitze mit Prompts in realer Größe durch und protokollieren Sie die Zeit bis zum ersten Token und die Latenz bis zur vollständigen Antwort. Bewahren Sie die Request-IDs auf; die Doku von BroadNet bittet bei Support-Anfragen um X-Request-ID, Zeitstempel, Route und Status.

Wo BroadNet Inference ins Bild passt

BroadRouter ist die eigene Website von BroadNet. BroadNet Inference verkauft Self-Service-Zugang zu öffentlichen Modellen pro Token, pro Audiominute, per Session-Plan und per Stundenschlüssel; die Preise stehen auf der Preisseite. Private Endpoints, regionale Verarbeitung, Fine-Tunes und als „on request“ gelistete Modelle sind kein Self-Service: Es sind Anfragen, für die BroadNet ein Angebot erstellt und die schriftlich vereinbart werden. Dieser Beitrag kann Ihnen nicht sagen, was BroadNet für Ihren Workload anbieten wird. Ein klares Briefing ist der Weg, es herauszufinden.

Häufige Fragen

Was ist ein privater LLM-Endpoint?

Ein API-Endpoint, hinter dem Kapazität steht, die für einen einzigen Kunden reserviert ist, statt sie mit allen Self-Service-Nutzern zu teilen. BroadNet beschreibt seine Variante als reservierte GPU oder reservierten Node mit dem Modell Ihrer Wahl, eigenem Schlüssel und eigenen Limits und der Region, die Sie brauchen, erreichbar über eine private Modell-ID.

Wie schätze ich die benötigte Parallelität ab?

Mit Littles Gesetz: gleichzeitige Anfragen = Anfragen pro Sekunde zur Spitzenzeit × Sekunden pro Anfrage. 1,67 Anfragen pro Sekunde mit je etwa 5,8 Sekunden ergeben etwa 10 gleichzeitig laufende Anfragen. Messen Sie die Sekunden pro Anfrage mit dem echten Modell und Ihren echten Prompts.

Kann ich einen privaten Endpoint bei BroadNet per Self-Service buchen?

Nein. BroadNet behandelt private Endpoints, regionale Verarbeitung und nicht gelistete Modelle als Anfragen: Sie beschreiben den Workload, und BroadNet erstellt ein Angebot. Laut den Nutzungsbedingungen richten sich private Endpoints und reservierte Kapazität nach einer separaten schriftlichen Vereinbarung.

Gibt es für einen privaten Endpoint ein SLA?

Nur wenn Ihre schriftliche Vereinbarung das vorsieht. Die Nutzungsbedingungen von BroadNet halten fest, dass es bei Self-Service keine Verfügbarkeitszusage gibt und Service-Levels nur in einer separaten schriftlichen Vereinbarung existieren. Fragen Sie nach den genauen Bedingungen, bevor Sie sich darauf verlassen.

Wo werden meine Daten verarbeitet?

Vereinbaren Sie das, bevor Sie Daten senden. Die Nutzungsbedingungen von BroadNet bitten Kunden mit Anforderungen an die Datenresidenz, die Verarbeitungsorte vorher zu vereinbaren, und sagen, dass bei partnergehosteter und Backup-Verarbeitung weitere Auftragsverarbeiter beteiligt sind; eine Liste der Unterauftragsverarbeiter erhalten Kunden auf Anfrage.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen