BroadRouter
Loslegen

Entwickler

Aktualisiert

BroadNet Inference nutzt die Anfrageformate von OpenAI unter https://inference.broadnet.ai/v1. Erstellen Sie in der Konsole einen Schlüssel, legen Sie ihn in einer Umgebungsvariablen ab und senden Sie eine Anfrage an /chat/completions oder /audio/transcriptions mit einer exakten Modell-ID. Prüfen Sie vor dem Umzug von Produktions-Traffic Parameter, Streaming, Tools, Limits und Fehler für dieses Modell.

Wie sende ich meine erste Chat-Anfrage?

  1. Melden Sie sich auf inference.broadnet.ai (auf Englisch) an und erstellen Sie einen Inferenz-Schlüssel. Er wird nur einmal angezeigt; die Konsole speichert nur seinen Hash.
  2. Installieren Sie das OpenAI SDK und setzen Sie den Schlüssel in Ihrer Shell. Schlüssel gehören auf Ihren Server, nie in Browser-Code.
  3. Senden Sie die Anfrage. Die Antwort steht in choices[0].message.content.

setup

python -m pip install openai
export BROADNET_API_KEY='paste-the-key-once'

first_request.py

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)
response = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(response.choices[0].message.content)

Das Beispiel nutzt BroadNet Gemma 4 VL 26B, das vom Startguthaben über USD 5 gedeckt ist. DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B erfordern vorher eine Aufladung. Bewahren Sie den Response-Header X-Request-ID für den Support auf.

How a request reaches a model
  1. 01Your appKey kept in an environment variable
  2. 02OpenAI SDKTwo settings change

    base_url api_key

  3. 03BroadNet InferenceOpenAI-compatible APIinference.broadnet.ai/v1POST /chat/completions
  4. 04The model you nameSet in every request
    • broadnet/deepseek-v4.1-flash
    • broadnet/glm-5.3
    • broadnet/qwen3.8-27b
    • broadnet/gemma-4-26b-a4byour choice
  5. 05ResponseFrom that model

You choose the model in each request. There is no automatic routing: the request runs on the model ID you sent.

Your app calls the OpenAI SDK with BroadNet’s base URL and your key. The request goes to BroadNet Inference with the model ID you wrote, and that model answers. Nothing picks or switches the model for you.

Streaming

Setzen Sie stream=true und lesen Sie die Server-Sent Events bis data: [DONE]. Mit stream_options.include_usage kommt die Token-Nutzung im letzten Chunk. Endet der Stream vor [DONE], behandeln Sie die Antwort als unvollständig. BroadNet bittet darum, Streaming pro Modell zu prüfen, bevor Sie sich in Produktion darauf verlassen.

stream.sh

curl -N https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'

Wie transkribiere ich Audio?

Senden Sie WAV oder MP3, bis 26.214.400 Byte pro Datei, an /audio/transcriptions. Setzen Sie immer language: Ohne den Parameter kann Arabisch in lateinischen Buchstaben zurückkommen. Für Arabisch verwenden Sie language=ar. Wandeln Sie .ogg oder .m4a vorher um: ffmpeg -i voice-note.ogg -ar 16000 -ac 1 voice-note.wav

transcribe.py

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)
with open("recording.wav", "rb") as audio:
    result = client.audio.transcriptions.create(
        model="broadnet/cohere-transcribe-arabic",
        file=audio,
        language="ar",
    )
print(result.text)

Die Antwort ist JSON mit dem Transkript in text. Arabisches oder mehrsprachiges Modell, und was Audio kostet.

Welche Modell-IDs kann ich verwenden?

Übergeben Sie die exakte ID als model. Verlassen Sie sich nicht auf /v1/models, um Chat-Modelle zu finden; nutzen Sie diese Liste oder die Referenz (auf Englisch).

ModellIDEndpointInputDokumentiertZugang
DeepSeek V4.1 Flashbroadnet/deepseek-v4.1-flash/chat/completionsText + BildReasoningAufladung erforderlich
GLM 5.3broadnet/glm-5.3/chat/completionsTextTools, Strukturierte Ausgabe, ReasoningAufladung erforderlich
Qwen3.8 27Bbroadnet/qwen3.8-27b/chat/completionsText + BildTools, Strukturierte Ausgabe, ReasoningAufladung erforderlich
BroadNet Gemma 4 VL 26Bbroadnet/gemma-4-26b-a4b/chat/completionsText + Bild—Startguthaben
BroadNet Transcribe Arabicbroadnet/cohere-transcribe-arabic/audio/transcriptionsArabisches Audio—Startguthaben
BroadNet Transcribebroadnet/cohere-transcribe/audio/transcriptionsAudio, 14 Sprachen—Startguthaben

„Dokumentiert“ nennt die Tools, die strukturierte Ausgabe und das Reasoning, die die Referenz von BroadNet für jedes Modell aufführt (geprüft am 15.11.2026). Ein Strich bedeutet, dass die Referenz sie nicht nennt; nicht, dass sie fehlen.

Umstieg von einer anderen OpenAI-kompatiblen API: Checkliste

Die Anfrageformate sind vertraut, die Modelle aber verschieden. Gehen Sie jeden Punkt für Ihr gewähltes Modell durch und testen Sie, bevor Sie den Traffic umstellen.

  1. Endpoint. Setzen Sie die Basis-URL auf https://inference.broadnet.ai/v1.
  2. Schlüssel. Verwenden Sie einen BroadNet-Inferenz-Schlüssel aus einer Umgebungsvariablen. Plan-Schlüssel und Pay-as-you-go-Schlüssel sind getrennt.
  3. Modell-ID. Verwenden Sie die exakte ID, zum Beispiel broadnet/gemma-4-26b-a4b.
  4. Parameter. Prüfen Sie, ob jeder Parameter, den Sie senden, für dieses Modell dokumentiert ist. Entfernen Sie nicht aufgeführte.
  5. Streaming. Stellen Sie sicher, dass Ihr Client SSE bis [DONE] liest und einen vorzeitig endenden Stream abfängt.
  6. Tools und strukturierte Ausgabe. Die Referenz dokumentiert sie für GLM 5.3 und Qwen3.8 27B. Testen Sie jedes andere Modell, bevor Sie sich darauf verlassen.
  7. Reasoning. Reasoning kann einen Teil des Output-Budgets verbrauchen. Lassen Sie Spielraum in max_tokens; siehe leere Antworten von Reasoning-Modellen.
  8. Limits. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitige. Eine Plan-Session erlaubt eine Anfrage gleichzeitig. Ein Gemma-Stundenschlüssel erlaubt einen Stream, 120 Anfragen pro Minute und 300.000 Tokens pro Minute.
  9. Kontext. Der Kontext umfasst Input und Antwort. Prüfen Sie das Limit des Modells auf seiner Modellseite.
  10. Fehler. Ordnen Sie die Statuscodes unten einer Wiederholungs- oder Korrekturaktion zu und protokollieren Sie X-Request-ID.
  11. Kosten. Schätzen Sie mit den Preisrechnern. Bilder zählen bei Pay-as-you-go als Input-Tokens.

Welche Fehler sollte ich wiederholen?

StatusBedeutungAktion
400 / 422Ungültige Anfrage oder ungültiges FeldAnfrage korrigieren; nicht unverändert wiederholen
401Schlüssel fehlt, ist ungültig oder abgelaufen, oder Kontingent erschöpftSchlüssel und Konto prüfen
402insufficient_balanceAufladen, dann erneut versuchen
413Anfrage über dem Byte- oder TextlimitWeniger senden, zum Beispiel eine kleinere Audiodatei
429Raten-, Parallelitäts-, Token-Raten- oder AusgabenlimitBegrenzt warten (Backoff), dann erneut versuchen
500–504Serverseitiges ProblemMit begrenztem exponentiellem Backoff wiederholen

Zusammengefasst aus der Fehlertabelle der Referenz (auf Englisch), geprüft am 15.11.2026. Codebeispiele für Wiederholungen.

Wo finde ich die vollständige Doku und Anleitungen?

Sie brauchen einen privaten Endpoint oder ein Modell, das nicht gelistet ist? BroadNet kontaktieren.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen