BroadRouter
Inizia

Usare l’SDK Python di OpenAI con BroadNet Inference

Aggiornato

Installa il pacchetto openai, poi crea il client con base_url impostato su https://inference.broadnet.ai/v1 e la tua chiave BroadNet come api_key. Ogni chiamata chat.completions funziona senza modifiche; cambia solo l’ID del modello, per esempio broadnet/deepseek-v4.1-flash. BroadNet serve chat completions e trascrizioni, non la Responses API.

Ti servono un account BroadNet Inference e una chiave di inferenza. I nuovi account partono con $5 di credito e senza carta; crealo su inference.broadnet.ai. La console mostra la chiave una sola volta e ne conserva solo l’hash, quindi copiala subito nel tuo ambiente.

1. Installa e imposta la chiave

L’attuale pacchetto openai (3.x) richiede Python 3.10 o successivo.

python -m pip install openai
export BROADNET_API_KEY='paste-the-key-once'

2. Fai una prima richiesta

Salva questo codice come first_request.py:

from openai import OpenAI
import os

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)

response = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(response.choices[0].message.content)

Eseguilo con python first_request.py. L’esempio usa broadnet/gemma-4-26b-a4b perché funziona con il credito gratuito. Gli altri modelli di chat sono disponibili dopo una ricarica.

3. Passa al modello che ti serve

Cambia solo model:

Ti serve ID del modello
Illimitato con un piano flat, contesto da 1M broadnet/deepseek-v4.1-flash
Strumenti e output strutturato, contesto da 1M broadnet/glm-5.3
Testo e immagini in arabo broadnet/qwen3.8-27b
Prezzo basso, funziona con il credito gratuito broadnet/gemma-4-26b-a4b

DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B ragionano prima di rispondere, e il ragionamento conta in max_tokens. Dai loro 1.000 token o più. Ecco perché un limite basso restituisce una risposta vuota.

4. Ricevi la risposta in streaming

stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    stream=True,
    stream_options={"include_usage": True},
    messages=[{"role": "user", "content": "Count from one to three."}],
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\n", chunk.usage)

Con include_usage, i conteggi dei token arrivano nell’ultimo chunk, che non ha choices. La guida allo streaming spiega come gestire le connessioni interrotte.

5. Conserva l’ID della richiesta

Ogni risposta porta un header X-Request-ID. Registralo nei log: l’assistenza di BroadNet lo chiede. Le risposte già interpretate lo espongono come response._request_id. Per leggerlo insieme agli altri header:

raw = client.chat.completions.with_raw_response.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Hi"}],
)
print(raw.headers.get("x-request-id"))
response = raw.parse()

Le chiavi a consumo consentono 30 richieste al minuto e 4 contemporanee. Cosa significa ogni codice di errore e quando ritentare.

Risoluzione dei problemi

  • AuthenticationError (401). La chiave è sbagliata, scaduta o ha esaurito la quota a consumo. Verifica che BROADNET_API_KEY sia impostata nel processo che esegue il codice.
  • NotFoundError (404). Verifica che base_url termini con /v1 e che tu chiami chat.completions, non responses. Poi controlla l’ID del modello, con il prefisso broadnet/.
  • Un modello a pagamento fallisce su un account nuovo. Il credito iniziale di $5 copre BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) e i due modelli BroadNet Transcribe. Ricarica per usare gli altri modelli di chat: DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B.
  • content vuoto. Il ragionamento conta in max_tokens. Alzalo a 1.000 o più. Perché le risposte arrivano vuote.
  • RateLimitError (429). Hai superato il limite al minuto o quello di concorrenza. Per impostazione predefinita l’SDK ritenta due volte; imposta max_retries sul client per cambiarlo.
  • Errori del client HTTP personalizzato dopo l’aggiornamento. L’SDK 3.x usa HTTPX2. Se passi un tuo http_client, segui la guida di migrazione a HTTPX2 dell’SDK.

Domande frequenti

Mi serve un SDK diverso?

No. BroadNet Inference parla i formati chat completions e audio transcriptions di OpenAI, quindi il pacchetto ufficiale openai funziona con un base_url diverso.

Posso continuare a usare OPENAI_API_KEY?

Puoi, ma una variabile separata BROADNET_API_KEY evita di mandare per errore la chiave di un provider a un altro.

L’SDK legge OPENAI_BASE_URL?

Sì. Se non passi base_url, il client usa OPENAI_BASE_URL. Impostala su https://inference.broadnet.ai/v1, imposta OPENAI_API_KEY con la tua chiave BroadNet, e OpenAI() non ha bisogno di argomenti.

Posso usare client.responses.create con BroadNet?

No. Il README dell’SDK parte dalla Responses API, ma la documentazione di BroadNet elenca solo chat completions e audio transcriptions. Usa client.chat.completions.create.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity