BroadRouter
Commencer

Inférence serverless (serverless inference)

Mis à jour

L’inférence serverless est une façon d’exécuter des modèles de machine learning où la plateforme démarre, met à l’échelle et arrête automatiquement le calcul derrière un endpoint, souvent jusqu’à zéro au repos, et facture l’usage plutôt que des machines réservées. La contrepartie est un possible délai de démarrage à froid (cold start).

Aussi appelé : inférence serverless, inférence sans serveur, LLM serverless, scale to zero, serverless inference, serverless LLM, serverless model endpoint, serverless GPU inference

Serverless ne veut pas dire qu’il n’y a pas de serveurs. Cela veut dire que vous ne les voyez jamais, et que vous cessez de payer quand vous cessez d’envoyer des requêtes.

Comment ça marche

Le guide SageMaker d’AWS en donne une version de référence claire. Les endpoints serverless « automatically launch compute resources and scale them in and out depending on traffic » (traduction : « lancent automatiquement les ressources de calcul et les ajustent à la hausse ou à la baisse selon le trafic »), et en l’absence de requêtes le service « scales your endpoint down to 0 » (traduction : « réduit votre endpoint à 0 »). Vous payez à l’usage plutôt qu’à l’instance.

Le prix de la réduction à zéro, c’est le cold start. Si un endpoint est resté inactif et qu’une requête arrive, « it can take some time for your endpoint to spin up the compute resources » (traduction : « votre endpoint peut mettre un certain temps à démarrer les ressources de calcul »). Pour les grands modèles de langage, charger des dizaines de gigaoctets de poids allonge ce délai. La parade habituelle consiste à payer pour garder une partie de la capacité chaude ; AWS appelle cela provisioned concurrency et la facture selon la mémoire, la durée et la concurrence.

Les fonctionnalités varient selon la plateforme. La liste des exclusions d’AWS pour SageMaker Serverless Inference inclut les GPU : l’hébergement serverless à l’échelle d’un LLM vient donc généralement d’autres plateformes. Hugging Face présente ses Inference Providers comme un moyen d’utiliser la « serverless inference of models » (traduction : « l’inférence serverless de modèles ») auprès de plusieurs fournisseurs avec un seul token.

Pourquoi c’est important

Endpoint serverless GPU loué (heure GPU) API partagée au token
Payant au repos Non (sauf maintien au chaud) Oui Non
Cold starts Possibles Non, une fois lancé Rares pour les modèles listés
Votre propre modèle Oui Oui Seulement ceux du catalogue du fournisseur
Mise à l’échelle Plateforme Vous Fournisseur

Le serverless convient à un trafic irrégulier ou faible avec votre propre modèle. Une charge forte et régulière coûte généralement moins cher sur du matériel réservé. Les cold starts apparaissent dans la longue traîne de la latence, pas dans la moyenne : regardez donc le p95.

Sur BroadNet Inference

BroadNet ne présente pas son API comme serverless, et sa documentation ne dit rien des cold starts. En pratique, ses clés en paiement à l’usage partagent les traits serverless qui comptent pour un appelant : aucune instance à choisir, rien à mettre à l’échelle, et une facturation au token ou à la minute d’audio. Les limites s’appliquent par clé, 30 requêtes par minute et 4 requêtes en cours, et non par machine. Vous ne pouvez appeler que les modèles listés par BroadNet, comme Qwen3.8 27B ; les endpoints privés et les autres modèles sont disponibles sur demande. Une première requête avec curl s’essaie en une minute.

Questions fréquentes

Qu’est-ce qu’un cold start en inférence serverless ?

Le délai observé quand un endpoint réduit à zéro reçoit une requête et doit d’abord démarrer le calcul et charger le modèle. La documentation SageMaker d’AWS le décrit et propose la provisioned concurrency pour garder de la capacité chaude, moyennant un coût.

Une API LLM facturée au token est-elle serverless ?

Du point de vue de l’appelant, en grande partie oui. Vous envoyez des requêtes, payez au token et ne gérez aucun serveur. La différence : une API partagée garde les modèles populaires chargés pour de nombreux clients, vous n’attendez donc généralement pas que votre propre modèle démarre.

L’inférence serverless coûte-t-elle moins cher qu’un GPU dédié ?

Pour un trafic irrégulier ou faible, généralement oui, car vous ne payez plus au repos. Pour une charge forte et régulière, un GPU réservé coûte souvent moins cher par requête. Comparez votre profil de trafic aux deux tarifs.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity