BroadRouter
Comenzar

Usar el SDK de OpenAI para Python con BroadNet Inference

Actualizado

Instale el paquete openai y cree el cliente con base_url en https://inference.broadnet.ai/v1 y su clave de BroadNet como api_key. Todas las llamadas a chat.completions funcionan sin cambios; solo cambia el ID del modelo, por ejemplo broadnet/deepseek-v4.1-flash. BroadNet ofrece chat completions y transcripciones, no la Responses API.

Necesita una cuenta de BroadNet Inference y una clave de inferencia. Las cuentas nuevas empiezan con $5 de crédito y sin tarjeta; cree una en inference.broadnet.ai. La consola muestra la clave una sola vez y solo guarda su hash, así que cópiela directamente a su entorno.

1. Instale el paquete y configure la clave

El paquete openai actual (3.x) requiere Python 3.10 o posterior.

python -m pip install openai
export BROADNET_API_KEY='paste-the-key-once'

2. Haga una primera solicitud

Guarde esto como first_request.py:

from openai import OpenAI
import os

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)

response = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(response.choices[0].message.content)

Ejecútelo con python first_request.py. Este ejemplo usa broadnet/gemma-4-26b-a4b porque funciona con el crédito gratuito. Los demás modelos de chat están disponibles después de una recarga.

3. Cambie al modelo que necesita

Cambie solo model:

Usted necesita ID del modelo
Uso ilimitado con un plan de tarifa plana, contexto de 1M broadnet/deepseek-v4.1-flash
Herramientas y salida estructurada, contexto de 1M broadnet/glm-5.3
Texto en árabe e imágenes broadnet/qwen3.8-27b
Precio bajo, funciona con el crédito gratuito broadnet/gemma-4-26b-a4b

DeepSeek V4.1 Flash, GLM 5.3 y Qwen3.8 27B razonan antes de responder, y el razonamiento cuenta para max_tokens. Asígneles 1,000 tokens o más. Aquí se explica por qué un límite bajo devuelve una respuesta vacía.

4. Reciba la respuesta en streaming

stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    stream=True,
    stream_options={"include_usage": True},
    messages=[{"role": "user", "content": "Count from one to three."}],
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\n", chunk.usage)

Con include_usage, los conteos de tokens llegan en el último fragmento, que no tiene choices. La guía de streaming explica qué hacer con las conexiones interrumpidas.

5. Conserve el ID de la solicitud

Cada respuesta incluye el encabezado X-Request-ID. Regístrelo: el soporte de BroadNet lo solicita. Las respuestas ya procesadas lo exponen como response._request_id. Para leerlo junto con otros encabezados:

raw = client.chat.completions.with_raw_response.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Hi"}],
)
print(raw.headers.get("x-request-id"))
response = raw.parse()

Las claves de pago por uso permiten 30 solicitudes por minuto y 4 en curso. Qué significa cada código de error y cuándo reintentar.

Solución de problemas

  • AuthenticationError (401). La clave es incorrecta, venció o se agotó la asignación de pago por uso. Verifique que BROADNET_API_KEY esté definida en el proceso que ejecuta su código.
  • NotFoundError (404). Verifique que base_url termine en /v1 y que llame a chat.completions, no a responses. Luego revise el ID del modelo, con el prefijo broadnet/.
  • Un modelo de pago falla en una cuenta nueva. El crédito inicial de $5 cubre BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) y los dos modelos BroadNet Transcribe. Recargue para usar los demás modelos de chat: DeepSeek V4.1 Flash, GLM 5.3 y Qwen3.8 27B.
  • content vacío. El razonamiento cuenta para max_tokens. Súbalo a 1,000 o más. Por qué las respuestas llegan vacías.
  • RateLimitError (429). Superó el límite por minuto o el de concurrencia. El SDK reintenta dos veces de forma predeterminada; configure max_retries en el cliente para cambiarlo.
  • Errores de un cliente HTTP personalizado después de actualizar. El SDK 3.x usa HTTPX2. Si pasa su propio http_client, siga la guía de migración a HTTPX2 del SDK.

Preguntas frecuentes

¿Necesito otro SDK?

No. BroadNet Inference usa los formatos de OpenAI para chat completions y transcripciones de audio, así que el paquete oficial openai funciona con otra base_url.

¿Puedo seguir usando OPENAI_API_KEY?

Puede, pero una variable separada BROADNET_API_KEY evita enviar por error la clave de un proveedor a otro.

¿El SDK lee OPENAI_BASE_URL?

Sí. Si no pasa base_url, el cliente usa OPENAI_BASE_URL. Configúrela en https://inference.broadnet.ai/v1, ponga su clave de BroadNet en OPENAI_API_KEY y OpenAI() no necesitará argumentos.

¿Puedo usar client.responses.create con BroadNet?

No. El README del SDK empieza con la Responses API, pero la documentación de BroadNet solo incluye chat completions y transcripciones de audio. Use client.chat.completions.create.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity