Das AI SDK von Vercel ist ein TypeScript-Toolkit für LLM-Apps. Sein Paket @ai-sdk/openai-compatible erstellt einen Provider für jede API, die dem Chat-Completions-Format von OpenAI folgt. BroadNet Inference tut das, also ändern Sie nur Base URL, Schlüssel und Modell-IDs. Für den einfachen OpenAI-Client lesen Sie stattdessen die Anleitung zum Node SDK.
Einrichtung
-
Pakete installieren. Zum Zeitpunkt der Erstellung liefert npm
ai7.x und@ai-sdk/openai-compatible3.x aus.npm install ai @ai-sdk/openai-compatible export BROADNET_API_KEY='your-broadnet-key' -
Provider erstellen.
// broadnet.ts import { createOpenAICompatible } from '@ai-sdk/openai-compatible'; export const broadnet = createOpenAICompatible({ name: 'broadnet', baseURL: 'https://inference.broadnet.ai/v1', apiKey: process.env.BROADNET_API_KEY, includeUsage: true, // usage data in streaming responses }); -
Text generieren.
import { generateText } from 'ai'; import { broadnet } from './broadnet'; const { text, usage, finishReason } = await generateText({ model: broadnet('broadnet/glm-5.3'), prompt: 'Explain idempotency keys in two sentences.', maxOutputTokens: 4000, // reasoning counts toward this }); console.log(text, finishReason, usage); -
Streamen. Ersetzen Sie
generateTextdurchstreamTextund lesen SietextStream. Die Streaming-Anleitung erklärt das zugrunde liegende Übertragungsformat.
Der übergebene name wird zum Schlüssel für Provider-Optionen und Provider-Metadaten; halten Sie ihn also kurz und stabil. provider('id') und provider.chatModel('id') erzeugen beide ein Chat-Modell; eine eigene Einrichtung pro Modell gibt es nicht. Lassen Sie den Schlüssel auf dem Server. Importieren Sie diese Datei nicht in Code, der im Browser läuft, sonst wird der Schlüssel an jeden Besucher ausgeliefert.
Die Provider-Dokumentation nennt Textgenerierung, Streaming, Tool Calling, Structured Outputs, Reasoning-Inhalte und Bild-Input als unterstützte Fähigkeiten, mit dem Hinweis, dass manche vom Anbieter abhängen. Bei BroadNet funktioniert Bild-Input mit DeepSeek V4.1 Flash, Qwen3.8 27B und Gemma 4 VL 26B. GLM 5.3 nimmt nur Text an.
Optionen, die sich lohnen
- reasoningEffort. Übergeben Sie die Option über
providerOptions, mit dem Provider-Namen als Schlüssel. Laut AI-SDK-Dokumentation hängen die genauen Werte vom Anbieter ab; die BroadNet-Dokumentation zeigtlow.
const result = await generateText({
model: broadnet('broadnet/deepseek-v4.1-flash'),
prompt: 'Classify: "refund my order" -> intent?',
providerOptions: { broadnet: { reasoningEffort: 'low' } },
});
- supportsStructuredOutputs. Das AI SDK sendet JSON-Schemas nur, wenn diese Option beim Provider auf
truesteht. BroadNet nennt strukturierte Ausgabe für GLM 5.3 und Qwen3.8 27B. Wenn Sie die Option einschalten, nutzen Sie diese Modelle für Schema-Output. - maxRetries.
generateTextversucht es standardmäßig zweimal erneut. Passen Sie den Wert an Ihr Rate Limit an. - Reasoning-Output. Das AI SDK liest Reasoning-Inhalte, wenn der Anbieter sie zurückgibt. Das Ergebnisfeld
reasoningTextauf oberster Ebene ist inzwischen zugunsten vonfinalStep.reasoningTextals veraltet markiert. Bauen Sie keine Logik, die voraussetzt, dass Reasoning vorhanden ist.
Welches Modell passt?
| Bedarf | Modell | Kontext |
|---|---|---|
| Tool Calling, strukturierte Ausgabe | broadnet/glm-5.3 |
1.048.576 |
| Bilder plus Tools, Arabisch | broadnet/qwen3.8-27b |
262.144 |
| Langer Kontext, Flatrate-Plan | broadnet/deepseek-v4.1-flash |
1.048.576 |
| Günstige Text- und Bildaufrufe | broadnet/gemma-4-26b-a4b |
32.768 |
Die Preise pro Token für jedes Modell stehen auf der Preisseite.
Fehlerbehebung
- 401.
BROADNET_API_KEYfehlt in der Laufzeitumgebung (prüfen Sie die Umgebungsvariablen bei Ihrem Hosting-Anbieter), ist falsch, abgelaufen, oder das Pay-as-you-go-Kontingent ist aufgebraucht. - providerOptions werden ignoriert. Der Schlüssel muss dem
namedes Providers in camelCase entsprechen. Beiname: 'broadnet'nutzen SieproviderOptions.broadnet. - Modellfehler. Die ID muss exakt der von BroadNet entsprechen, mit dem Präfix
broadnet/. GLM 5.3, Qwen3.8 27B und DeepSeek V4.1 Flash brauchen eine Aufladung; das Startguthaben von $5 deckt Gemma 4 VL 26B und die beiden Transcribe-Modelle ab. - Leerer Text, finishReason „length“. Das Reasoning hat das Budget aufgebraucht. Erhöhen Sie
maxOutputTokensoder senken SiereasoningEffort. Warum Antworten leer zurückkommen. - 429 unter Last. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig laufende. Serverless-Funktionen skalieren schnell hoch; begrenzen Sie die Parallelität also in Ihrer App. Siehe Fehlercodes und Retries.
- Parallele Agenten mit einem Plan-Schlüssel. Eine Session eines unbegrenzten Plans verarbeitet immer nur eine Anfrage. Wenn Sie
Promise.allüber mehrere Agenten laufen lassen, brauchen Sie eine Session pro Agent, sonst landen die Anfragen in der Warteschlange.
