BroadRouter

Das Vercel AI SDK mit BroadNet Inference nutzen

Aktualisiert

Installieren Sie ai und @ai-sdk/openai-compatible und rufen Sie createOpenAICompatible mit name broadnet, baseURL https://inference.broadnet.ai/v1 und Ihrem BroadNet-Schlüssel als apiKey auf. Übergeben Sie dem Provider eine BroadNet-Modell-ID wie broadnet/glm-5.3 und nutzen Sie generateText oder streamText wie gewohnt. Lassen Sie den Schlüssel auf dem Server und geben Sie Reasoning-Modellen ein großzügiges maxOutputTokens.

Das AI SDK von Vercel ist ein TypeScript-Toolkit für LLM-Apps. Sein Paket @ai-sdk/openai-compatible erstellt einen Provider für jede API, die dem Chat-Completions-Format von OpenAI folgt. BroadNet Inference tut das, also ändern Sie nur Base URL, Schlüssel und Modell-IDs. Für den einfachen OpenAI-Client lesen Sie stattdessen die Anleitung zum Node SDK.

Einrichtung

  1. Pakete installieren. Zum Zeitpunkt der Erstellung liefert npm ai 7.x und @ai-sdk/openai-compatible 3.x aus.

    npm install ai @ai-sdk/openai-compatible
    export BROADNET_API_KEY='your-broadnet-key'
  2. Provider erstellen.

    // broadnet.ts
    import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
    
    export const broadnet = createOpenAICompatible({
      name: 'broadnet',
      baseURL: 'https://inference.broadnet.ai/v1',
      apiKey: process.env.BROADNET_API_KEY,
      includeUsage: true, // usage data in streaming responses
    });
  3. Text generieren.

    import { generateText } from 'ai';
    import { broadnet } from './broadnet';
    
    const { text, usage, finishReason } = await generateText({
      model: broadnet('broadnet/glm-5.3'),
      prompt: 'Explain idempotency keys in two sentences.',
      maxOutputTokens: 4000, // reasoning counts toward this
    });
    
    console.log(text, finishReason, usage);
  4. Streamen. Ersetzen Sie generateText durch streamText und lesen Sie textStream. Die Streaming-Anleitung erklärt das zugrunde liegende Übertragungsformat.

Der übergebene name wird zum Schlüssel für Provider-Optionen und Provider-Metadaten; halten Sie ihn also kurz und stabil. provider('id') und provider.chatModel('id') erzeugen beide ein Chat-Modell; eine eigene Einrichtung pro Modell gibt es nicht. Lassen Sie den Schlüssel auf dem Server. Importieren Sie diese Datei nicht in Code, der im Browser läuft, sonst wird der Schlüssel an jeden Besucher ausgeliefert.

Die Provider-Dokumentation nennt Textgenerierung, Streaming, Tool Calling, Structured Outputs, Reasoning-Inhalte und Bild-Input als unterstützte Fähigkeiten, mit dem Hinweis, dass manche vom Anbieter abhängen. Bei BroadNet funktioniert Bild-Input mit DeepSeek V4.1 Flash, Qwen3.8 27B und Gemma 4 VL 26B. GLM 5.3 nimmt nur Text an.

Optionen, die sich lohnen

  • reasoningEffort. Übergeben Sie die Option über providerOptions, mit dem Provider-Namen als Schlüssel. Laut AI-SDK-Dokumentation hängen die genauen Werte vom Anbieter ab; die BroadNet-Dokumentation zeigt low.
const result = await generateText({
  model: broadnet('broadnet/deepseek-v4.1-flash'),
  prompt: 'Classify: "refund my order" -> intent?',
  providerOptions: { broadnet: { reasoningEffort: 'low' } },
});
  • supportsStructuredOutputs. Das AI SDK sendet JSON-Schemas nur, wenn diese Option beim Provider auf true steht. BroadNet nennt strukturierte Ausgabe für GLM 5.3 und Qwen3.8 27B. Wenn Sie die Option einschalten, nutzen Sie diese Modelle für Schema-Output.
  • maxRetries. generateText versucht es standardmäßig zweimal erneut. Passen Sie den Wert an Ihr Rate Limit an.
  • Reasoning-Output. Das AI SDK liest Reasoning-Inhalte, wenn der Anbieter sie zurückgibt. Das Ergebnisfeld reasoningText auf oberster Ebene ist inzwischen zugunsten von finalStep.reasoningText als veraltet markiert. Bauen Sie keine Logik, die voraussetzt, dass Reasoning vorhanden ist.

Welches Modell passt?

Bedarf Modell Kontext
Tool Calling, strukturierte Ausgabe broadnet/glm-5.3 1.048.576
Bilder plus Tools, Arabisch broadnet/qwen3.8-27b 262.144
Langer Kontext, Flatrate-Plan broadnet/deepseek-v4.1-flash 1.048.576
Günstige Text- und Bildaufrufe broadnet/gemma-4-26b-a4b 32.768

Die Preise pro Token für jedes Modell stehen auf der Preisseite.

Fehlerbehebung

  • 401. BROADNET_API_KEY fehlt in der Laufzeitumgebung (prüfen Sie die Umgebungsvariablen bei Ihrem Hosting-Anbieter), ist falsch, abgelaufen, oder das Pay-as-you-go-Kontingent ist aufgebraucht.
  • providerOptions werden ignoriert. Der Schlüssel muss dem name des Providers in camelCase entsprechen. Bei name: 'broadnet' nutzen Sie providerOptions.broadnet.
  • Modellfehler. Die ID muss exakt der von BroadNet entsprechen, mit dem Präfix broadnet/. GLM 5.3, Qwen3.8 27B und DeepSeek V4.1 Flash brauchen eine Aufladung; das Startguthaben von $5 deckt Gemma 4 VL 26B und die beiden Transcribe-Modelle ab.
  • Leerer Text, finishReason „length“. Das Reasoning hat das Budget aufgebraucht. Erhöhen Sie maxOutputTokens oder senken Sie reasoningEffort. Warum Antworten leer zurückkommen.
  • 429 unter Last. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig laufende. Serverless-Funktionen skalieren schnell hoch; begrenzen Sie die Parallelität also in Ihrer App. Siehe Fehlercodes und Retries.
  • Parallele Agenten mit einem Plan-Schlüssel. Eine Session eines unbegrenzten Plans verarbeitet immer nur eine Anfrage. Wenn Sie Promise.all über mehrere Agenten laufen lassen, brauchen Sie eine Session pro Agent, sonst landen die Anfragen in der Warteschlange.

Häufige Fragen

Nehme ich @ai-sdk/openai oder @ai-sdk/openai-compatible?

Nutzen Sie @ai-sdk/openai-compatible für OpenAI-kompatible APIs von Drittanbietern. Es ruft den Chat-Completions-Endpoint auf, und genau den stellt BroadNet Inference bereit.

Warum ist der generierte Text leer?

Reasoning zählt bei BroadNet zu max_tokens. Ist maxOutputTokens klein, kann das Modell alles verbrauchen, bevor die Antwort beginnt. Erhöhen Sie den Wert oder setzen Sie reasoningEffort auf low.

Wie bekomme ich beim Streaming die Token-Usage?

Setzen Sie includeUsage auf true, wenn Sie den Provider erstellen. Laut AI-SDK-Dokumentation fügt das den Streaming-Antworten Usage-Daten hinzu. Der Standardwert ist false.

Brauche ich für jedes BroadNet-Modell eine eigene Einrichtung?

Nein. Ein Provider aus createOpenAICompatible deckt alle Modelle ab. Rufen Sie broadnet('model-id') oder broadnet.chatModel('model-id') mit einer beliebigen Chat-Modell-ID von BroadNet auf.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen