Serverless non significa che non ci siano server. Significa che non li vedi mai e che smetti di pagare quando smetti di inviare richieste.
Come funziona
La guida di SageMaker di AWS offre una versione di riferimento chiara. Gli endpoint serverless “automatically launch compute resources and scale them in and out depending on traffic” (traduzione: avviano automaticamente le risorse di calcolo e le scalano in base al traffico), e quando non ci sono richieste il servizio “scales your endpoint down to 0” (traduzione: riduce il tuo endpoint a 0). Paghi in base all’uso invece che per istanza.
Il prezzo dello scalare a zero è il cold start. Se un endpoint è rimasto inattivo e arriva una richiesta, “it can take some time for your endpoint to spin up the compute resources” (traduzione: può volerci un po’ di tempo perché il tuo endpoint avvii le risorse di calcolo). Per i modelli linguistici di grandi dimensioni, caricare decine di gigabyte di pesi rende quel ritardo più lungo. La soluzione abituale è pagare per tenere pronta una parte della capacità; AWS la chiama provisioned concurrency e la fattura in base a memoria, durata e concorrenza.
Le funzionalità variano da piattaforma a piattaforma. La lista di esclusioni di AWS per SageMaker Serverless Inference comprende le GPU, quindi l’hosting serverless di modelli grandi come un LLM arriva di solito da altre piattaforme. Hugging Face descrive i suoi Inference Providers come un modo per usare la “serverless inference of models” (traduzione: inferenza serverless di modelli) su diversi provider con un solo token.
Perché è importante
| Endpoint serverless | GPU a noleggio (ora GPU) | API condivisa a token | |
|---|---|---|---|
| Paghi quando è inattivo | No (salvo capacità tenuta pronta) | Sì | No |
| Cold start | Possibili | No, una volta avviata | Rari per i modelli in listino |
| Il tuo modello | Sì | Sì | Solo quelli in listino del provider |
| Chi gestisce la scalabilità | La piattaforma | Tu | Il provider |
Il serverless è adatto a traffico basso o a picchi con un modello tuo. Un carico pesante e costante di solito costa meno su hardware riservato. I cold start si vedono nella coda lunga della latenza, non nella media, quindi controlla il p95.
Su BroadNet Inference
BroadNet non descrive la sua API come serverless, e la sua documentazione non dice nulla sui cold start. In pratica, le sue chiavi a pagamento a consumo hanno le caratteristiche serverless che contano per chi chiama: nessuna istanza da scegliere, niente da scalare e fatturazione per token o per minuto di audio. I limiti sono per chiave, 30 richieste al minuto e 4 in corso, non per macchina. Puoi chiamare solo i modelli che BroadNet ha in listino, come Qwen3.8 27B; endpoint privati e altri modelli sono disponibili su richiesta. Una prima richiesta con curl richiede un minuto.