Il formato dell’API di OpenAI è diventato la lingua comune degli strumenti per LLM. Oggi molti provider lo accettano, quindi una sola libreria client può parlare con tanti backend.
Come funziona
Un’API compatibile copia le parti dell’API di OpenAI da cui dipendono i client:
- gli stessi percorsi, come
/v1/chat/completionse/v1/audio/transcriptions; - le stesse strutture JSON: un array
messagesin ingresso,choices[0].message.contentin uscita e un bloccousagecon i conteggi dei token; - una chiave API inviata come
Authorization: Bearer <key>; - lo streaming come server-sent events quando
streamè true.
Cambiare provider è una modifica di configurazione. Con l’SDK Python ufficiale:
from openai import OpenAI
import os
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
reply = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Say hello in Arabic."}],
)
print(reply.choices[0].message.content)
Rispetto a un esempio di OpenAI sono cambiati solo tre valori: la base URL, la chiave e l’ID del modello.
Perché è importante
La compatibilità abbassa il costo del cambio. SDK, framework per agenti, plugin per IDE e router che parlano il formato OpenAI funzionano senza codice nuovo. Puoi provare un secondo provider in pochi minuti e tenerti la possibilità di spostarti.
Ma compatibile non vuol dire identico. Il livello di compatibilità di Anthropic, per esempio, ignora strict sugli strumenti e lascia vuoto prompt_tokens_details. Le differenze tipiche sono:
- parametri ignorati o rifiutati;
- come i token di ragionamento contano in
max_tokens; - se l’usage viene riportato alla fine di uno stream;
- rate limit e codici di errore.
Su BroadNet Inference
BroadNet Inference serve POST /v1/chat/completions, POST /v1/audio/transcriptions e GET /v1/models su https://inference.broadnet.ai/v1. Le chiavi si inviano solo come Authorization: Bearer <key>. Le guide per Python e Node mostrano configurazioni complete, e LangChain funziona allo stesso modo.
Due differenze da mettere in conto: DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B ragionano prima di rispondere, e il ragionamento conta in max_tokens. Inoltre una chiave a consumo consente 30 richieste al minuto e 4 contemporanee. La checklist di migrazione copre il resto.
Errori comuni
- Lasciare un nome di modello OpenAI come
gpt-6-astra(il modello di punta di OpenAI nella sua pagina dei modelli, verificata il 2026-11-15). Usa l’ID del modello del provider. - Dare per scontato che un parametro funzioni perché la richiesta è andata a buon fine. Alcuni provider ignorano in silenzio i campi sconosciuti.