BroadRouter

Cómo usar el Vercel AI SDK con BroadNet Inference

Actualizado

Instale ai y @ai-sdk/openai-compatible, y llame a createOpenAICompatible con name broadnet, baseURL https://inference.broadnet.ai/v1 y su clave de BroadNet como apiKey. Pase al proveedor un ID de modelo de BroadNet como broadnet/glm-5.3 y use generateText o streamText como siempre. Mantenga la clave en el servidor y dé a los modelos de razonamiento un maxOutputTokens holgado.

El AI SDK de Vercel es un kit de herramientas en TypeScript para aplicaciones con LLM. Su paquete @ai-sdk/openai-compatible crea un proveedor para cualquier API que siga el formato de chat completions de OpenAI. BroadNet Inference lo sigue, así que solo cambia la URL base, la clave y los IDs de modelo. Si prefiere el cliente de OpenAI sin más, consulte la guía del SDK de Node.

Configuración

  1. Instale los paquetes. Al momento de escribir esto, npm ofrece ai 7.x y @ai-sdk/openai-compatible 3.x.

    npm install ai @ai-sdk/openai-compatible
    export BROADNET_API_KEY='your-broadnet-key'
  2. Cree el proveedor.

    // broadnet.ts
    import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
    
    export const broadnet = createOpenAICompatible({
      name: 'broadnet',
      baseURL: 'https://inference.broadnet.ai/v1',
      apiKey: process.env.BROADNET_API_KEY,
      includeUsage: true, // usage data in streaming responses
    });
  3. Genere texto.

    import { generateText } from 'ai';
    import { broadnet } from './broadnet';
    
    const { text, usage, finishReason } = await generateText({
      model: broadnet('broadnet/glm-5.3'),
      prompt: 'Explain idempotency keys in two sentences.',
      maxOutputTokens: 4000, // reasoning counts toward this
    });
    
    console.log(text, finishReason, usage);
  4. Haga streaming. Cambie generateText por streamText y lea textStream. La guía de streaming explica el formato de transmisión que hay debajo.

El name que pase se convierte en la clave de las opciones y los metadatos del proveedor, así que manténgalo corto y estable. Tanto provider('id') como provider.chatModel('id') crean un modelo de chat; no hay configuración aparte por modelo. Mantenga la clave en el servidor. No importe este archivo en código que se ejecute en el navegador, o la clave llegará a cada visitante.

La documentación del proveedor enumera como capacidades admitidas la generación de texto, el streaming, las llamadas a herramientas, la salida estructurada, el contenido de razonamiento y la entrada de imágenes, con la nota de que algunas dependen del proveedor. En BroadNet, la entrada de imágenes funciona con DeepSeek V4.1 Flash, Qwen3.8 27B y Gemma 4 VL 26B. GLM 5.3 acepta solo texto.

Opciones que conviene configurar

  • reasoningEffort. Páselo mediante providerOptions, con el nombre del proveedor como clave. La documentación del AI SDK indica que los valores exactos dependen del proveedor; la documentación de BroadNet muestra low.
const result = await generateText({
  model: broadnet('broadnet/deepseek-v4.1-flash'),
  prompt: 'Classify: "refund my order" -> intent?',
  providerOptions: { broadnet: { reasoningEffort: 'low' } },
});
  • supportsStructuredOutputs. El AI SDK solo envía esquemas JSON cuando este valor es true en el proveedor. BroadNet indica salida estructurada para GLM 5.3 y Qwen3.8 27B. Si lo activa, use esos modelos para la salida con esquema.
  • maxRetries. generateText reintenta dos veces de forma predeterminada. Ajústelo a su límite de frecuencia.
  • Salida de razonamiento. El AI SDK lee el contenido de razonamiento cuando el proveedor lo devuelve. El campo de resultado reasoningText de nivel superior ahora está marcado como obsoleto en favor de finalStep.reasoningText. No construya lógica que dependa de que el razonamiento esté presente.

Qué modelo elegir

Necesidad Modelo Contexto
Llamadas a herramientas, salida estructurada broadnet/glm-5.3 1,048,576
Imágenes con herramientas, árabe broadnet/qwen3.8-27b 262,144
Contexto largo, plan de tarifa plana broadnet/deepseek-v4.1-flash 1,048,576
Llamadas de texto e imagen económicas broadnet/gemma-4-26b-a4b 32,768

Los precios por token de cada modelo están en la página de precios.

Solución de problemas

  • 401. Falta BROADNET_API_KEY en el entorno de ejecución (revise las variables de entorno de su proveedor de hosting), o la clave es incorrecta, venció o se quedó sin saldo de pago por uso.
  • Se ignoran las providerOptions. La clave debe coincidir con el name del proveedor en camelCase. Con name: 'broadnet', use providerOptions.broadnet.
  • Errores del modelo. El ID debe coincidir exactamente con el de BroadNet, con el prefijo broadnet/. GLM 5.3, Qwen3.8 27B y DeepSeek V4.1 Flash requieren una recarga; el crédito inicial de $5 cubre Gemma 4 VL 26B y los dos modelos Transcribe.
  • Texto vacío, finishReason “length”. El razonamiento agotó el presupuesto. Aumente maxOutputTokens o baje reasoningEffort. Por qué las respuestas llegan vacías.
  • 429 bajo carga. Una clave de pago por uso permite 30 solicitudes por minuto y 4 en curso. Las funciones serverless escalan rápido, así que limite la concurrencia en su aplicación. Consulte errores y reintentos.
  • Agentes en paralelo con una clave de plan. Una sesión de plan ilimitado ejecuta una solicitud a la vez. Ejecutar Promise.all sobre varios agentes requiere una sesión por agente; si no, las solicitudes hacen fila.

Preguntas frecuentes

¿Uso @ai-sdk/openai o @ai-sdk/openai-compatible?

Use @ai-sdk/openai-compatible para APIs de terceros compatibles con OpenAI. Llama al endpoint de chat completions, que es lo que sirve BroadNet Inference.

¿Por qué el texto generado está vacío?

En BroadNet, el razonamiento cuenta para max_tokens. Si maxOutputTokens es pequeño, el modelo puede agotarlo antes de empezar la respuesta. Auméntelo o ponga reasoningEffort en low.

¿Cómo obtengo el uso de tokens durante el streaming?

Ponga includeUsage en true al crear el proveedor. La documentación del AI SDK indica que agrega datos de uso a las respuestas en streaming. Su valor predeterminado es false.

¿Necesito una configuración aparte para cada modelo de BroadNet?

No. Un solo proveedor de createOpenAICompatible cubre todos los modelos. Llame a broadnet('model-id') o broadnet.chatModel('model-id') con cualquier ID de modelo de chat de BroadNet.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity