BroadRouter
Loslegen

Serverless Inference

Aktualisiert

Serverless Inference ist eine Art, Machine-Learning-Modelle zu betreiben, bei der die Plattform die Rechenleistung hinter einem Endpoint automatisch startet, skaliert und stoppt, im Leerlauf oft bis auf null, und nach Nutzung statt nach reservierten Maschinen abrechnet. Der Preis dafür sind mögliche Verzögerungen durch Cold Starts.

Auch genannt: serverlose Inferenz, Serverless-Inferenz, Serverless LLM, Scale to Zero, serverless LLM, serverless model endpoint, scale to zero, serverless GPU inference

Serverless heißt nicht, dass es keine Server gibt. Es heißt, dass Sie sie nie sehen und nichts mehr zahlen, sobald Sie keine Anfragen mehr senden.

So funktioniert es

Das SageMaker-Handbuch von AWS liefert eine klare Referenzversion. Serverless Endpoints „automatically launch compute resources and scale them in and out depending on traffic“ (Übersetzung: „starten Rechenressourcen automatisch und skalieren sie je nach Traffic hoch und herunter“), und wenn keine Anfragen kommen, „scales your endpoint down to 0“ (Übersetzung: „skaliert der Dienst Ihren Endpoint auf 0 herunter“). Sie zahlen pro Nutzung statt pro Instanz.

Der Preis für das Skalieren auf null ist der Cold Start. War ein Endpoint im Leerlauf und es kommt eine Anfrage, „it can take some time for your endpoint to spin up the compute resources“ (Übersetzung: „kann es eine Weile dauern, bis Ihr Endpoint die Rechenressourcen hochgefahren hat“). Bei großen Sprachmodellen verlängert das Laden von zig Gigabyte Gewichten diese Verzögerung. Die übliche Abhilfe ist, dafür zu zahlen, dass ein Teil der Kapazität warm bleibt; AWS nennt das Provisioned Concurrency und rechnet nach Speicher, Dauer und Concurrency ab.

Die Funktionen unterscheiden sich je nach Plattform. Die Liste der Ausschlüsse von AWS für SageMaker Serverless Inference enthält GPUs, daher kommt serverloses Hosting in LLM-Größe meist von anderen Plattformen. Hugging Face beschreibt seine Inference Providers als Weg, „serverless inference of models“ (Übersetzung: „serverlose Inferenz von Modellen“) bei mehreren Anbietern mit einem einzigen Token zu nutzen.

Warum es wichtig ist

Serverless Endpoint Gemietete GPU (GPU-Stunde) Geteilte API pro Token
Kosten im Leerlauf Nein (außer warmgehalten) Ja Nein
Cold Starts Möglich Nein, sobald sie läuft Selten bei gelisteten Modellen
Eigenes Modell Ja Ja Nur, was der Anbieter listet
Skalierungsarbeit Plattform Sie Anbieter

Serverless passt zu sprunghaftem oder geringem Traffic mit eigenem Modell. Gleichmäßig hohe Last kostet auf reservierter Hardware meist weniger. Cold Starts zeigen sich als langer Ausläufer der Latenz, nicht im Durchschnitt, prüfen Sie also p95.

Bei BroadNet Inference

BroadNet bezeichnet seine API nicht als serverless, und die Dokumentation sagt nichts über Cold Starts. In der Praxis haben die Pay-as-you-go-Schlüssel die serverlosen Eigenschaften, die für Aufrufer zählen: keine Instanz zum Auswählen, nichts zu skalieren und Abrechnung pro Token oder pro Audiominute. Die Limits gelten pro Schlüssel, 30 Anfragen pro Minute und 4 gleichzeitig laufende Anfragen, nicht pro Maschine. Sie können nur die Modelle aufrufen, die BroadNet listet, etwa Qwen3.8 27B; private Endpoints und andere Modelle gibt es auf Anfrage. Eine erste Anfrage mit curl ist in einer Minute ausprobiert.

Häufige Fragen

Was ist ein Cold Start bei Serverless Inference?

Die Verzögerung, wenn ein herunterskalierter Endpoint eine Anfrage erhält und zuerst Rechenleistung starten und das Modell laden muss. Die SageMaker-Dokumentation von AWS beschreibt das und bietet Provisioned Concurrency an, um gegen Gebühr Kapazität warmzuhalten.

Ist eine LLM-API mit Abrechnung pro Token serverless?

Aus Sicht des Aufrufers größtenteils ja. Sie senden Anfragen, zahlen pro Token und verwalten keine Server. Der Unterschied ist, dass eine geteilte API beliebte Modelle für viele Kunden geladen hält, Sie warten also meist nicht darauf, dass Ihr eigenes Modell startet.

Ist Serverless Inference günstiger als eine dedizierte GPU?

Bei sprunghaftem oder geringem Traffic meist ja, weil Sie im Leerlauf nichts zahlen. Bei gleichmäßig hoher Last kostet eine reservierte GPU pro Anfrage oft weniger. Vergleichen Sie Ihr Traffic-Muster mit beiden Preisen.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen