L’AI SDK di Vercel è un toolkit TypeScript per app basate su LLM. Il suo pacchetto @ai-sdk/openai-compatible crea un provider per qualsiasi API che segue il formato chat completions di OpenAI. BroadNet Inference lo segue, quindi cambi solo base URL, chiave e ID dei modelli. Se invece vuoi il client OpenAI puro, vedi la guida all’SDK Node.
Configurazione
-
Installa i pacchetti. Nel momento in cui scriviamo, npm distribuisce
ai7.x e@ai-sdk/openai-compatible3.x.npm install ai @ai-sdk/openai-compatible export BROADNET_API_KEY='your-broadnet-key' -
Crea il provider. L’opzione
includeUsageaggiunge i dati di usage alle risposte in streaming.// broadnet.ts import { createOpenAICompatible } from '@ai-sdk/openai-compatible'; export const broadnet = createOpenAICompatible({ name: 'broadnet', baseURL: 'https://inference.broadnet.ai/v1', apiKey: process.env.BROADNET_API_KEY, includeUsage: true, // usage data in streaming responses }); -
Genera il testo. Il ragionamento conta in
maxOutputTokens.import { generateText } from 'ai'; import { broadnet } from './broadnet'; const { text, usage, finishReason } = await generateText({ model: broadnet('broadnet/glm-5.3'), prompt: 'Explain idempotency keys in two sentences.', maxOutputTokens: 4000, // reasoning counts toward this }); console.log(text, finishReason, usage); -
Passa allo streaming. Sostituisci
generateTextconstreamTexte leggitextStream. La guida allo streaming spiega il formato dei dati che viaggiano sotto.
Il name che passi diventa la chiave per le opzioni e i metadati del provider, quindi sceglilo breve e stabile. provider('id') e provider.chatModel('id') creano entrambi un modello di chat; non c’è una configurazione separata per ogni modello. Tieni la chiave sul server. Non importare questo file in codice che gira nel browser, altrimenti la chiave arriva a ogni visitatore.
La documentazione del provider elenca tra le funzionalità supportate generazione di testo, streaming, tool calling, output strutturati, contenuto di ragionamento e input di immagini, con la nota che alcune dipendono dal provider. Su BroadNet l’input di immagini funziona con DeepSeek V4.1 Flash, Qwen3.8 27B e Gemma 4 VL 26B. GLM 5.3 accetta solo testo.
Opzioni che conviene impostare
- reasoningEffort. Passalo tramite
providerOptions, sotto il nome del provider. La documentazione dell’AI SDK dice che i valori esatti dipendono dal provider; la documentazione di BroadNet mostralow.
const result = await generateText({
model: broadnet('broadnet/deepseek-v4.1-flash'),
prompt: 'Classify: "refund my order" -> intent?',
providerOptions: { broadnet: { reasoningEffort: 'low' } },
});
- supportsStructuredOutputs. L’AI SDK invia gli schemi JSON solo se questa opzione è
truesul provider. BroadNet indica l’output strutturato per GLM 5.3 e Qwen3.8 27B. Se la attivi, usa quei modelli per l’output con schema. - maxRetries.
generateTextritenta due volte per impostazione predefinita. Impostalo in base al tuo rate limit. - Output del ragionamento. L’AI SDK legge il contenuto di ragionamento quando il provider lo restituisce. Il campo di primo livello
reasoningTextnel risultato ora è segnato come deprecato a favore difinalStep.reasoningText. Non costruire logica che dipende dalla presenza del ragionamento.
Quale modello scegliere
| Esigenza | Modello | Contesto |
|---|---|---|
| Tool calling, output strutturato | broadnet/glm-5.3 |
1.048.576 |
| Immagini più strumenti, arabo | broadnet/qwen3.8-27b |
262.144 |
| Contesto lungo, piano flat | broadnet/deepseek-v4.1-flash |
1.048.576 |
| Chiamate economiche con testo e immagini | broadnet/gemma-4-26b-a4b |
32.768 |
I prezzi per token di ogni modello sono nella pagina dei prezzi.
Risoluzione dei problemi
- 401.
BROADNET_API_KEYmanca nel runtime (controlla le impostazioni delle variabili d’ambiente del tuo hosting), è sbagliata, scaduta o ha esaurito la quota a consumo. - providerOptions ignorate. La chiave deve corrispondere al
namedel provider in camelCase. Conname: 'broadnet', usaproviderOptions.broadnet. - Errori sul modello. L’ID deve corrispondere esattamente a quello di BroadNet, con il prefisso
broadnet/. GLM 5.3, Qwen3.8 27B e DeepSeek V4.1 Flash richiedono una ricarica; il credito iniziale di $5 copre Gemma 4 VL 26B e i due modelli Transcribe. - Testo vuoto, finishReason “length”. Il ragionamento ha consumato il budget. Alza
maxOutputTokenso abbassareasoningEffort. Perché le risposte arrivano vuote. - 429 sotto carico. Una chiave a consumo consente 30 richieste al minuto e 4 in corso contemporaneamente. Le funzioni serverless scalano in fretta, quindi limita la concorrenza nella tua app. Vedi errori e retry.
- Agenti in parallelo con una chiave di piano. Una sessione del piano illimitato esegue una richiesta alla volta. Lanciare
Promise.allsu più agenti richiede una sessione per agente, altrimenti le richieste finiscono in coda.
