L’AI SDK de Vercel est une boîte à outils TypeScript pour les applications LLM. Son paquet @ai-sdk/openai-compatible crée un provider pour toute API qui suit le format chat completions d’OpenAI. C’est le cas de BroadNet Inference : vous ne changez que l’URL de base, la clé et les ID de modèles. Pour le client OpenAI classique, consultez plutôt le guide du SDK Node.
Configuration
-
Installez les paquets. Au moment de la rédaction, npm distribue
ai7.x et@ai-sdk/openai-compatible3.x.npm install ai @ai-sdk/openai-compatible export BROADNET_API_KEY='your-broadnet-key' -
Créez le provider.
// broadnet.ts import { createOpenAICompatible } from '@ai-sdk/openai-compatible'; export const broadnet = createOpenAICompatible({ name: 'broadnet', baseURL: 'https://inference.broadnet.ai/v1', apiKey: process.env.BROADNET_API_KEY, includeUsage: true, // usage data in streaming responses }); -
Générez du texte.
import { generateText } from 'ai'; import { broadnet } from './broadnet'; const { text, usage, finishReason } = await generateText({ model: broadnet('broadnet/glm-5.3'), prompt: 'Explain idempotency keys in two sentences.', maxOutputTokens: 4000, // reasoning counts toward this }); console.log(text, finishReason, usage); -
Streamez. Remplacez
generateTextparstreamTextet liseztextStream. Le guide du streaming explique le format de transmission sous-jacent.
Le name que vous passez devient la clé des options et des métadonnées du provider : gardez-le court et stable. provider('id') et provider.chatModel('id') créent tous deux un modèle de chat ; il n’y a pas de configuration distincte par modèle. Gardez la clé côté serveur. N’importez pas ce fichier dans du code exécuté dans le navigateur, sinon la clé est envoyée à chaque visiteur.
La documentation du provider liste la génération de texte, le streaming, l’appel d’outils, les sorties structurées, le contenu de raisonnement et les images en entrée parmi les capacités prises en charge, en précisant que certaines dépendent du fournisseur. Chez BroadNet, les images en entrée fonctionnent avec DeepSeek V4.1 Flash, Qwen3.8 27B et Gemma 4 VL 26B. GLM 5.3 n’accepte que du texte.
Options à régler
- reasoningEffort. Passez-la via
providerOptions, sous la clé du nom du provider. D’après la documentation de l’AI SDK, les valeurs exactes dépendent du fournisseur ; la documentation de BroadNet montrelow.
const result = await generateText({
model: broadnet('broadnet/deepseek-v4.1-flash'),
prompt: 'Classify: "refund my order" -> intent?',
providerOptions: { broadnet: { reasoningEffort: 'low' } },
});
- supportsStructuredOutputs. L’AI SDK n’envoie de schémas JSON que si cette option vaut
truesur le provider. BroadNet indique la sortie structurée pour GLM 5.3 et Qwen3.8 27B. Si vous l’activez, utilisez ces modèles pour les sorties à schéma. - maxRetries.
generateTextréessaie deux fois par défaut. Ajustez la valeur à votre limite de débit. - Sortie de raisonnement. L’AI SDK lit le contenu de raisonnement quand le fournisseur le renvoie. Le champ de résultat
reasoningTextde premier niveau est désormais marqué obsolète au profit definalStep.reasoningText. Ne construisez pas de logique qui suppose la présence du raisonnement.
Quel modèle choisir ?
| Besoin | Modèle | Contexte |
|---|---|---|
| Appel d’outils, sortie structurée | broadnet/glm-5.3 |
1 048 576 |
| Images et outils, arabe | broadnet/qwen3.8-27b |
262 144 |
| Long contexte, forfait | broadnet/deepseek-v4.1-flash |
1 048 576 |
| Appels texte et image bon marché | broadnet/gemma-4-26b-a4b |
32 768 |
Les prix par token de chaque modèle figurent sur la page des tarifs.
Dépannage
- 401.
BROADNET_API_KEYmanque dans l’environnement d’exécution (vérifiez les variables d’environnement chez votre hébergeur), est erronée, expirée, ou son quota de paiement à l’usage est épuisé. - providerOptions ignorées. La clé doit correspondre au
namedu provider en camelCase. Avecname: 'broadnet', utilisezproviderOptions.broadnet. - Erreurs de modèle. L’ID doit correspondre exactement à celui de BroadNet, avec le préfixe
broadnet/. GLM 5.3, Qwen3.8 27B et DeepSeek V4.1 Flash nécessitent une recharge ; le crédit de départ de $5 couvre Gemma 4 VL 26B et les deux modèles Transcribe. - Texte vide, finishReason « length ». Le raisonnement a épuisé le budget. Augmentez
maxOutputTokensou baissezreasoningEffort. Pourquoi les réponses reviennent vides. - 429 sous charge. Une clé à l’usage autorise 30 requêtes par minute et 4 requêtes en cours. Les fonctions serverless montent vite en charge : plafonnez la concurrence dans votre application. Voir codes d’erreur et nouvelles tentatives.
- Agents en parallèle avec une clé de forfait. Une session de forfait illimité traite une seule requête à la fois. Lancer
Promise.allsur plusieurs agents demande une session par agent, sinon les requêtes passent en file d’attente.
