Serverless ne veut pas dire qu’il n’y a pas de serveurs. Cela veut dire que vous ne les voyez jamais, et que vous cessez de payer quand vous cessez d’envoyer des requêtes.
Comment ça marche
Le guide SageMaker d’AWS en donne une version de référence claire. Les endpoints serverless « automatically launch compute resources and scale them in and out depending on traffic » (traduction : « lancent automatiquement les ressources de calcul et les ajustent à la hausse ou à la baisse selon le trafic »), et en l’absence de requêtes le service « scales your endpoint down to 0 » (traduction : « réduit votre endpoint à 0 »). Vous payez à l’usage plutôt qu’à l’instance.
Le prix de la réduction à zéro, c’est le cold start. Si un endpoint est resté inactif et qu’une requête arrive, « it can take some time for your endpoint to spin up the compute resources » (traduction : « votre endpoint peut mettre un certain temps à démarrer les ressources de calcul »). Pour les grands modèles de langage, charger des dizaines de gigaoctets de poids allonge ce délai. La parade habituelle consiste à payer pour garder une partie de la capacité chaude ; AWS appelle cela provisioned concurrency et la facture selon la mémoire, la durée et la concurrence.
Les fonctionnalités varient selon la plateforme. La liste des exclusions d’AWS pour SageMaker Serverless Inference inclut les GPU : l’hébergement serverless à l’échelle d’un LLM vient donc généralement d’autres plateformes. Hugging Face présente ses Inference Providers comme un moyen d’utiliser la « serverless inference of models » (traduction : « l’inférence serverless de modèles ») auprès de plusieurs fournisseurs avec un seul token.
Pourquoi c’est important
| Endpoint serverless | GPU loué (heure GPU) | API partagée au token | |
|---|---|---|---|
| Payant au repos | Non (sauf maintien au chaud) | Oui | Non |
| Cold starts | Possibles | Non, une fois lancé | Rares pour les modèles listés |
| Votre propre modèle | Oui | Oui | Seulement ceux du catalogue du fournisseur |
| Mise à l’échelle | Plateforme | Vous | Fournisseur |
Le serverless convient à un trafic irrégulier ou faible avec votre propre modèle. Une charge forte et régulière coûte généralement moins cher sur du matériel réservé. Les cold starts apparaissent dans la longue traîne de la latence, pas dans la moyenne : regardez donc le p95.
Sur BroadNet Inference
BroadNet ne présente pas son API comme serverless, et sa documentation ne dit rien des cold starts. En pratique, ses clés en paiement à l’usage partagent les traits serverless qui comptent pour un appelant : aucune instance à choisir, rien à mettre à l’échelle, et une facturation au token ou à la minute d’audio. Les limites s’appliquent par clé, 30 requêtes par minute et 4 requêtes en cours, et non par machine. Vous ne pouvez appeler que les modèles listés par BroadNet, comme Qwen3.8 27B ; les endpoints privés et les autres modèles sont disponibles sur demande. Une première requête avec curl s’essaie en une minute.