Necesita una cuenta de BroadNet Inference y una clave de inferencia. Las cuentas nuevas empiezan con $5 de crédito y sin tarjeta; cree una en inference.broadnet.ai. La consola muestra la clave una sola vez y solo guarda su hash, así que cópiela directamente a su entorno.
1. Instale el paquete y configure la clave
El paquete openai actual (3.x) requiere Python 3.10 o posterior.
python -m pip install openai
export BROADNET_API_KEY='paste-the-key-once'
2. Haga una primera solicitud
Guarde esto como first_request.py:
from openai import OpenAI
import os
client = OpenAI(
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
)
response = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(response.choices[0].message.content)
Ejecútelo con python first_request.py. Este ejemplo usa broadnet/gemma-4-26b-a4b porque funciona con el crédito gratuito. Los demás modelos de chat están disponibles después de una recarga.
3. Cambie al modelo que necesita
Cambie solo model:
| Usted necesita | ID del modelo |
|---|---|
| Uso ilimitado con un plan de tarifa plana, contexto de 1M | broadnet/deepseek-v4.1-flash |
| Herramientas y salida estructurada, contexto de 1M | broadnet/glm-5.3 |
| Texto en árabe e imágenes | broadnet/qwen3.8-27b |
| Precio bajo, funciona con el crédito gratuito | broadnet/gemma-4-26b-a4b |
DeepSeek V4.1 Flash, GLM 5.3 y Qwen3.8 27B razonan antes de responder, y el razonamiento cuenta para max_tokens. Asígneles 1,000 tokens o más. Aquí se explica por qué un límite bajo devuelve una respuesta vacía.
4. Reciba la respuesta en streaming
stream = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
stream=True,
stream_options={"include_usage": True},
messages=[{"role": "user", "content": "Count from one to three."}],
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
print("\n", chunk.usage)
Con include_usage, los conteos de tokens llegan en el último fragmento, que no tiene choices. La guía de streaming explica qué hacer con las conexiones interrumpidas.
5. Conserve el ID de la solicitud
Cada respuesta incluye el encabezado X-Request-ID. Regístrelo: el soporte de BroadNet lo solicita. Las respuestas ya procesadas lo exponen como response._request_id. Para leerlo junto con otros encabezados:
raw = client.chat.completions.with_raw_response.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Hi"}],
)
print(raw.headers.get("x-request-id"))
response = raw.parse()
Las claves de pago por uso permiten 30 solicitudes por minuto y 4 en curso. Qué significa cada código de error y cuándo reintentar.
Solución de problemas
AuthenticationError(401). La clave es incorrecta, venció o se agotó la asignación de pago por uso. Verifique queBROADNET_API_KEYesté definida en el proceso que ejecuta su código.NotFoundError(404). Verifique quebase_urltermine en/v1y que llame achat.completions, no aresponses. Luego revise el ID del modelo, con el prefijobroadnet/.- Un modelo de pago falla en una cuenta nueva. El crédito inicial de $5 cubre BroadNet Gemma 4 VL 26B (
broadnet/gemma-4-26b-a4b) y los dos modelos BroadNet Transcribe. Recargue para usar los demás modelos de chat: DeepSeek V4.1 Flash, GLM 5.3 y Qwen3.8 27B. contentvacío. El razonamiento cuenta paramax_tokens. Súbalo a 1,000 o más. Por qué las respuestas llegan vacías.RateLimitError(429). Superó el límite por minuto o el de concurrencia. El SDK reintenta dos veces de forma predeterminada; configuremax_retriesen el cliente para cambiarlo.- Errores de un cliente HTTP personalizado después de actualizar. El SDK 3.x usa HTTPX2. Si pasa su propio
http_client, siga la guía de migración a HTTPX2 del SDK.
