BroadRouter

Usare il Vercel AI SDK con BroadNet Inference

Aggiornato

Installa ai e @ai-sdk/openai-compatible, poi chiama createOpenAICompatible con name broadnet, baseURL https://inference.broadnet.ai/v1 e la tua chiave BroadNet come apiKey. Passa al provider un ID di modello BroadNet, per esempio broadnet/glm-5.3, e usa generateText o streamText come al solito. Tieni la chiave sul server e dai ai modelli di ragionamento un maxOutputTokens generoso.

L’AI SDK di Vercel è un toolkit TypeScript per app basate su LLM. Il suo pacchetto @ai-sdk/openai-compatible crea un provider per qualsiasi API che segue il formato chat completions di OpenAI. BroadNet Inference lo segue, quindi cambi solo base URL, chiave e ID dei modelli. Se invece vuoi il client OpenAI puro, vedi la guida all’SDK Node.

Configurazione

  1. Installa i pacchetti. Nel momento in cui scriviamo, npm distribuisce ai 7.x e @ai-sdk/openai-compatible 3.x.

    npm install ai @ai-sdk/openai-compatible
    export BROADNET_API_KEY='your-broadnet-key'
  2. Crea il provider. L’opzione includeUsage aggiunge i dati di usage alle risposte in streaming.

    // broadnet.ts
    import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
    
    export const broadnet = createOpenAICompatible({
      name: 'broadnet',
      baseURL: 'https://inference.broadnet.ai/v1',
      apiKey: process.env.BROADNET_API_KEY,
      includeUsage: true, // usage data in streaming responses
    });
  3. Genera il testo. Il ragionamento conta in maxOutputTokens.

    import { generateText } from 'ai';
    import { broadnet } from './broadnet';
    
    const { text, usage, finishReason } = await generateText({
      model: broadnet('broadnet/glm-5.3'),
      prompt: 'Explain idempotency keys in two sentences.',
      maxOutputTokens: 4000, // reasoning counts toward this
    });
    
    console.log(text, finishReason, usage);
  4. Passa allo streaming. Sostituisci generateText con streamText e leggi textStream. La guida allo streaming spiega il formato dei dati che viaggiano sotto.

Il name che passi diventa la chiave per le opzioni e i metadati del provider, quindi sceglilo breve e stabile. provider('id') e provider.chatModel('id') creano entrambi un modello di chat; non c’è una configurazione separata per ogni modello. Tieni la chiave sul server. Non importare questo file in codice che gira nel browser, altrimenti la chiave arriva a ogni visitatore.

La documentazione del provider elenca tra le funzionalità supportate generazione di testo, streaming, tool calling, output strutturati, contenuto di ragionamento e input di immagini, con la nota che alcune dipendono dal provider. Su BroadNet l’input di immagini funziona con DeepSeek V4.1 Flash, Qwen3.8 27B e Gemma 4 VL 26B. GLM 5.3 accetta solo testo.

Opzioni che conviene impostare

  • reasoningEffort. Passalo tramite providerOptions, sotto il nome del provider. La documentazione dell’AI SDK dice che i valori esatti dipendono dal provider; la documentazione di BroadNet mostra low.
const result = await generateText({
  model: broadnet('broadnet/deepseek-v4.1-flash'),
  prompt: 'Classify: "refund my order" -> intent?',
  providerOptions: { broadnet: { reasoningEffort: 'low' } },
});
  • supportsStructuredOutputs. L’AI SDK invia gli schemi JSON solo se questa opzione è true sul provider. BroadNet indica l’output strutturato per GLM 5.3 e Qwen3.8 27B. Se la attivi, usa quei modelli per l’output con schema.
  • maxRetries. generateText ritenta due volte per impostazione predefinita. Impostalo in base al tuo rate limit.
  • Output del ragionamento. L’AI SDK legge il contenuto di ragionamento quando il provider lo restituisce. Il campo di primo livello reasoningText nel risultato ora è segnato come deprecato a favore di finalStep.reasoningText. Non costruire logica che dipende dalla presenza del ragionamento.

Quale modello scegliere

Esigenza Modello Contesto
Tool calling, output strutturato broadnet/glm-5.3 1.048.576
Immagini più strumenti, arabo broadnet/qwen3.8-27b 262.144
Contesto lungo, piano flat broadnet/deepseek-v4.1-flash 1.048.576
Chiamate economiche con testo e immagini broadnet/gemma-4-26b-a4b 32.768

I prezzi per token di ogni modello sono nella pagina dei prezzi.

Risoluzione dei problemi

  • 401. BROADNET_API_KEY manca nel runtime (controlla le impostazioni delle variabili d’ambiente del tuo hosting), è sbagliata, scaduta o ha esaurito la quota a consumo.
  • providerOptions ignorate. La chiave deve corrispondere al name del provider in camelCase. Con name: 'broadnet', usa providerOptions.broadnet.
  • Errori sul modello. L’ID deve corrispondere esattamente a quello di BroadNet, con il prefisso broadnet/. GLM 5.3, Qwen3.8 27B e DeepSeek V4.1 Flash richiedono una ricarica; il credito iniziale di $5 copre Gemma 4 VL 26B e i due modelli Transcribe.
  • Testo vuoto, finishReason “length”. Il ragionamento ha consumato il budget. Alza maxOutputTokens o abbassa reasoningEffort. Perché le risposte arrivano vuote.
  • 429 sotto carico. Una chiave a consumo consente 30 richieste al minuto e 4 in corso contemporaneamente. Le funzioni serverless scalano in fretta, quindi limita la concorrenza nella tua app. Vedi errori e retry.
  • Agenti in parallelo con una chiave di piano. Una sessione del piano illimitato esegue una richiesta alla volta. Lanciare Promise.all su più agenti richiede una sessione per agente, altrimenti le richieste finiscono in coda.

Domande frequenti

Devo usare @ai-sdk/openai o @ai-sdk/openai-compatible?

Usa @ai-sdk/openai-compatible per le API di terze parti compatibili con OpenAI. Chiama l’endpoint chat completions, che è quello servito da BroadNet Inference.

Perché il testo generato è vuoto?

Su BroadNet il ragionamento conta in max_tokens. Se maxOutputTokens è basso, il modello può consumarlo tutto prima che inizi la risposta. Alzalo o imposta reasoningEffort su low.

Come ottengo l’uso dei token durante lo streaming?

Imposta includeUsage a true quando crei il provider. La documentazione dell’AI SDK dice che aggiunge i dati di usage alle risposte in streaming. Il valore predefinito è false.

Serve una configurazione separata per ogni modello BroadNet?

No. Un solo provider createOpenAICompatible copre tutti i modelli. Chiama broadnet('model-id') o broadnet.chatModel('model-id') con qualsiasi ID di modello di chat BroadNet.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity