BroadRouter
Loslegen

Wechsel zu einer OpenAI-kompatiblen API: die Migrations-Checkliste

Vom Team von BroadNet Inference · 5 Min. Lesezeit · Veröffentlicht · Aktualisiert

Für den Wechsel zu einer OpenAI-kompatiblen API ändern Sie drei Einstellungen (base_url, api_key und model) und prüfen dann, was sich unterscheidet: Modell-IDs, wie Reasoning-Tokens auf max_tokens angerechnet werden, wie Streams die Usage melden, welche Fehler Sie wiederholen sollten, Rate Limits und Schlüsselsicherheit. Für BroadNet Inference lautet die Basis-URL https://inference.broadnet.ai/v1.

Die meisten LLM-Anbieter sprechen inzwischen das Format der OpenAI-API. Dadurch sieht ein Wechsel wie eine Änderung in einer Zeile aus, und für eine erste Antwort stimmt das auch. Für Produktions-Traffic sollten Sie diese Liste abarbeiten. Jeder Punkt geht auf eine reale Art zurück, wie Migrationen scheitern.

0. Was nutzt Ihre App heute?

Bevor Sie etwas ändern, notieren Sie, wovon Ihre App abhängt. Durchsuchen Sie den Code nach jedem Aufruf des SDK und listen Sie ihn auf. Falls Sie die Whisper-API von OpenAI aufrufen: OpenAI gibt an, dass whisper-1 am 26. Februar 2027 abgeschaltet wird; Alternativen zur Whisper-API behandelt die Audio-Seite.

Funktion Wo Sie suchen Test nach dem Wechsel
Chat Completions Jedes chat.completions.create Gleiche Prompts, Antworten vergleichen
Streaming stream=True Chunks kommen an, Ende mit [DONE], Usage vorhanden
Tool Calling tools= Tool-Aufrufe werden geparst und ausgeführt
Strukturierte Ausgabe response_format= JSON besteht die Validierung gegen Ihr Schema
Bilder Bildteile in Nachrichten Modell akzeptiert sie
Audio-Transkription audio.transcriptions Text und Sprache korrekt
Embeddings, Dateien, Batches Andere Endpoints Prüfen, ob der Anbieter sie überhaupt anbietet

Die letzte Zeile ist wichtig. „OpenAI-kompatibel“ deckt meist zuerst Chat Completions ab. Der Katalog von BroadNet Inference führt Chat-Modelle unter /v1/chat/completions und Speech-to-Text-Modelle unter /v1/audio/transcriptions; wenn Sie andere Endpoints nutzen, belassen Sie diese bei Ihrem bisherigen Anbieter oder suchen Sie einen Ersatz.

1. Welche drei Einstellungen ändern sich?

from openai import OpenAI
import os

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)

Wie die Einstellung für die Basis-URL heißt, hängt von der Bibliothek ab: base_url im Python SDK und in ChatOpenAI von LangChain, baseURL im Node.js SDK. Das Python SDK liest laut seinem README außerdem die Umgebungsvariable OPENAI_BASE_URL. Prüfen Sie Ihre Umgebung auf einen veralteten Wert, sonst landen Anfragen ohne Fehlermeldung beim alten Anbieter.

Bewahren Sie API-Schlüssel in Umgebungsvariablen oder einem Secret Manager auf, nie im Code. Einrichtung je SDK: Python, Node.js, LangChain. Um eine erste Anfrage von Hand zu bauen und zu testen, nutzen Sie den API-Request-Builder. Um Basis-URL, Schlüssel und Modell in bestehendem Code anzupassen, fügen Sie ihn in die Migrationshilfe von OpenAI zu BroadNet ein; sie listet auch auf, was Sie prüfen sollten.

2. Wie lauten die neuen Modell-IDs?

Jeder Anbieter benennt Modelle auf seine Weise. Bei BroadNet Inference:

Modell ID
DeepSeek V4.1 Flash broadnet/deepseek-v4.1-flash
GLM 5.3 broadnet/glm-5.3
Qwen3.8 27B broadnet/qwen3.8-27b
Gemma 4 VL 26B broadnet/gemma-4-26b-a4b

Legen Sie die Modell-ID in die Konfiguration, nicht in den Code. Ein späterer Wechsel ist dann ein Deployment und kein Umbau. Limits und Preise jedes Modells stehen auf seiner Seite: DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B und Gemma 4 VL 26B.

3. Warum kommen die Antworten nach dem Wechsel leer zurück?

Das ist die häufigste Überraschung. DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B denken nach, bevor sie antworten, und die Reasoning-Tokens werden auf max_tokens angerechnet. Ein Limit von 256, das bei einem Modell ohne Reasoning funktioniert hat, kann vollständig für das Nachdenken draufgehen, und die Antwort bleibt leer. Lassen Sie 1.000 Tokens oder mehr Spielraum, oder setzen Sie reasoning_effort bei einfachen Aufgaben auf low. Ausführliche Erklärung.

4. Meldet Streaming weiterhin die Usage?

Streams nutzen Server-Sent Events und enden mit data: [DONE]. Die Token-Usage kommt nur dann im letzten Chunk an, wenn Sie danach fragen:

stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash", messages=messages,
    stream=True, stream_options={"include_usage": True},
)

Ohne diese Option zeigt Ihr Kosten-Dashboard null an. Endet ein Stream vor [DONE], behandeln Sie ihn als unvollständig. Leitfaden zu Streaming.

5. Welche Fehler sollten Sie wiederholen?

Status Bedeutung Maßnahme
401 Falscher oder widerrufener Schlüssel, oder Pay-as-you-go-Kontingent aufgebraucht Beheben, nicht wiederholen
402 Guthaben oder Budget Aufladen, nicht wiederholen
403 Abgelehnt durch Modell-, Routen- oder IP-Richtlinie Die Abweichung beheben
413 Anfrage zu groß Verkleinern, nicht wiederholen
429 Raten-, Parallelitäts- oder Ausgabenlimit Backoff, dann wiederholen
5xx Serverseitig Mit begrenztem Backoff wiederholen

Das offizielle Python SDK wiederholt einige Fehler bereits selbst: Laut README werden Verbindungsfehler sowie Antworten mit 408, 409, 429 und 5xx standardmäßig zweimal mit kurzem exponentiellem Backoff wiederholt. Setzen Sie max_retries ausdrücklich, damit das Verhalten eine Entscheidung ist und kein Standardwert. Protokollieren Sie die Request-ID jeder Antwort, damit der Support ein Problem nachverfolgen kann. Alle Codes.

6. Welche Rate Limits gelten neu?

Kennen Sie die neuen Limits, bevor Traffic ankommt. Ein Pay-as-you-go-Schlüssel von BroadNet erlaubt 30 Anfragen pro Minute und 4 gleichzeitige Anfragen. Unbegrenzte Pläne verarbeiten eine Anfrage gleichzeitig pro Session. Dimensionieren Sie Ihren Worker-Pool entsprechend, sonst sehen Sie schon am ersten Tag 429-Fehler; der Rate-Limit-Rechner übernimmt die Dimensionierung. Dimensionierung für parallele Agenten.

7. Passen Ihre Prompts noch?

Prüfen Sie die Kontextfenster: 1.048.576 Tokens bei DeepSeek V4.1 Flash und GLM 5.3, 262.144 bei Qwen3.8 27B, 32.768 bei Gemma 4 VL 26B. Ein Prompt, der in Ihr altes Modell passte, passt vielleicht nicht in ein kleineres Fenster; prüfen Sie das mit dem Kontextfenster-Rechner. Stellen Sie gleichbleibende Prompt-Inhalte an den Anfang, um von Preisen für gecachten Input zu profitieren.

8. Was ist mit Schlüsseln und Datenspeicherung?

Binden Sie Produktionsschlüssel mit einer IP-Allowlist an die IPs Ihrer Server. Fragen Sie den neuen Anbieter, was er speichert; siehe die ZDR-Checkliste.

9. Wie schalten Sie sicher um?

  1. Schicken Sie eine Kopie der echten Anfragen eines Tages an beide Anbieter.
  2. Vergleichen Sie die Antworten an einer Stichprobe, dazu Latenz, Fehler und Kosten pro Anfrage.
  3. Verlagern Sie 10 % des Traffics, beobachten Sie einen Tag lang, dann verlagern Sie den Rest.
  4. Lassen Sie den alten Anbieter eine Woche lang als Fallback konfiguriert.

Wenn Sie viele Dienste betreiben, können Sie mit einem Proxy wie LiteLLM den Anbieter an einer Stelle wechseln statt in jeder App.

Welche Fehler passieren bei der Migration häufig?

  • Fehlendes /v1 in der Basis-URL. Anfragen liefern 404. Verwenden Sie die vollständige URL.
  • Alte Modellnamen in der Konfiguration. Der neue Anbieter kennt sie nicht.
  • Anbieterspezifische Felder in den Anfragen. Felder, die nur der alte Anbieter verstand, werden womöglich abgelehnt oder ignoriert. Entfernen Sie sie aus generischen Clients.
  • Nur einen Prompt testen. Arbeiten Sie die Bestandsaufnahme aus Schritt 0 Funktion für Funktion ab.
  • An einem Freitag umschalten. Planen Sie Zeit ein, um einen ganzen Tag echten Traffic zu beobachten.

Wo BroadNet Inference einzuordnen ist

BroadNet Inference ist ein direkter Ersatz für Apps, die Chat Completions und Audio-Transkription über die OpenAI-SDKs nutzen: Ändern Sie drei Einstellungen und arbeiten Sie die Liste oben ab. Der Katalog führt nur Chat- und Speech-to-Text-Modelle. Wenn Sie von anderen Endpoints abhängen, etwa Embeddings oder Dateispeicher, belassen Sie diese bei einem anderen Anbieter. Neue Konten starten mit $5 Guthaben. Von den Chat-Modellen läuft damit nur Gemma 4 VL 26B (es deckt außerdem die beiden Transcribe-Modelle ab), ein Schattentest mit DeepSeek, GLM oder Qwen erfordert also eine Aufladung.

Häufige Fragen

Brauche ich ein anderes SDK?

Nein. Die offiziellen OpenAI-SDKs für Python und Node.js akzeptieren eine eigene Basis-URL. Darauf aufbauende Frameworks wie ChatOpenAI von LangChain ebenfalls.

Wie ändere ich die Basis-URL im OpenAI-SDK?

Übergeben Sie dem Client in Python base_url oder in Node.js baseURL, oder setzen Sie die Umgebungsvariable OPENAI_BASE_URL. Für BroadNet Inference lautet der Wert https://inference.broadnet.ai/v1, der Schlüssel gehört in api_key.

Warum bekomme ich nach dem Wechsel eine leere Antwort?

Reasoning-Modelle wie DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B denken nach, bevor sie antworten, und dieses Nachdenken wird auf max_tokens angerechnet. Erhöhen Sie max_tokens auf 1.000 oder mehr, oder setzen Sie reasoning_effort auf low.

Warum bekomme ich nach dem Wechsel einen 404- oder „model not found“-Fehler?

Meist steht noch der Modellname des alten Anbieters in der Konfiguration, oder der Basis-URL fehlt der Pfad /v1. Verwenden Sie die genaue Modell-ID des neuen Anbieters und die vollständige Basis-URL.

Welche Fehler sollte ich wiederholen?

Wiederholen Sie 429 und 5xx mit begrenztem exponentiellem Backoff. Beheben Sie 401, 402 und 413, bevor Sie es erneut versuchen. Der Leitfaden zu Fehlern auf dieser Website listet jeden Code auf.

Heißt OpenAI-kompatibel auch identisch?

Nein. Die Form von Anfrage und Antwort stimmt überein, doch Modell-IDs, unterstützte Parameter, Limits, Usage-Felder und Fehlerdetails können abweichen. Testen Sie jede Funktion, die Ihre App nutzt.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen