Quando esce un modello open-weight, qualcuno deve comunque farlo girare. I provider di inferenza sono le aziende che lo fanno.
Come funziona
Un provider carica i pesi del modello sulle GPU, esegue un software di serving che raggruppa le richieste in batch e gestisce la memoria, e ci mette davanti un’API. La maggior parte espone un’API compatibile con OpenAI, quindi cambi provider cambiando base URL, chiave e ID del modello.
Il termine copre diversi modelli di business:
- Laboratori che servono i propri modelli.
- Host indipendenti che servono modelli open-weight di molti laboratori.
- Cloud che noleggiano GPU o endpoint gestiti, a volte fatturati per ora di GPU.
- Aggregatori. Gli Inference Providers di Hugging Face danno accesso a “hundreds of machine learning models, powered by world-class inference providers” (traduzione: centinaia di modelli di machine learning, serviti da provider di inferenza di prim’ordine) con un solo token. Un router LLM funziona allo stesso modo.
Poiché il formato dell’API è condiviso, lo stesso codice gira su ognuno di loro. Cambiano solo tre valori, indicati dai commenti nel codice: il provider (la base URL), la sua chiave e l’ID del modello di quel provider.
import os
from openai import OpenAI
msgs = [{"role": "user", "content": "Hello"}]
client = OpenAI(
base_url="https://inference.broadnet.ai/v1", # the provider
api_key=os.environ["BROADNET_API_KEY"], # its key
)
client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=msgs) # its model ID
Anche i prezzi cambiano: per token, per minuto di audio, all’ora o flat per sessione.
Perché è importante
Scegliere un provider vuol dire soprattutto scegliere dei compromessi che il nome del modello non mostra:
- Gestione dei dati. Conservazione, log e uso per l’addestramento variano. Cerca una policy di zero data retention scritta.
- Dove gira. Regione e subresponsabili del trattamento contano per la compliance.
- Limiti. Concorrenza, rate limit e lunghezza del contesto possono essere inferiori al massimo del modello.
- Scelte di serving. Precisione e impostazioni di serving influiscono sulla velocità e a volte sull’output.
- Struttura del prezzo. Quella giusta dipende dal tuo traffico; vedi il confronto dei prezzi dei provider.
- Livello del prezzo. Lo stesso modello open può costare molte volte di più presso un provider che presso un altro. Vedi stesso modello, host diverso.
Su BroadNet Inference
BroadNet Inference è un provider di inferenza. La sua informativa privacy dice che i suoi modelli e i modelli open-weight che ospita “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (traduzione: girano su hardware di proprietà di BroadNet o in leasing negli Stati Uniti, con capacità di partner come backup), e che i modelli serviti da partner funzionano con condizioni di zero data retention presso partner di inferenza statunitensi. Il contenuto di richieste e risposte non viene conservato.
Offre modelli di chat, tra cui DeepSeek V4.1 Flash e GLM 5.3, e due modelli speech-to-text tramite un’API compatibile con OpenAI su https://inference.broadnet.ai/v1. La fatturazione è a consumo per token o per minuto di audio, con una chiave oraria oppure con piani flat per DeepSeek V4.1 Flash. Usa la checklist per scegliere un provider per confrontarlo con gli altri secondo i tuoi criteri.