BroadRouter
Magsimula

Serverless inference

Na-update

Ang serverless inference ay paraan ng pagpapatakbo ng machine learning model kung saan awtomatikong sinisimulan, sina-scale at pinapatay ng platform ang compute sa likod ng isang endpoint, madalas hanggang zero kapag idle, at paggamit ang sinisingil sa halip na mga naka-reserve na makina. Ang kapalit ay posibleng delay dahil sa cold start.

Tinatawag ding: serverless na LLM, scale-to-zero, serverless LLM, serverless model endpoint, scale to zero, serverless GPU inference

Hindi ibig sabihin ng serverless na walang server. Ibig sabihin, hindi mo sila nakikita, at tumitigil ang bayad mo kapag tumigil kang magpadala ng request.

Paano ito gumagana

Malinaw na reference ang gabay ng AWS para sa SageMaker. Ang mga serverless endpoint ay “automatically launch compute resources and scale them in and out depending on traffic” (Salin ng BroadRouter: “awtomatikong naglulunsad ng compute resources at sina-scale ang mga ito pataas at pababa depende sa traffic”), at kapag walang request, ang serbisyo ay “scales your endpoint down to 0” (Salin ng BroadRouter: “sina-scale pababa sa 0 ang endpoint mo”). Paggamit ang binabayaran mo, hindi instance.

Ang kapalit ng pag-scale hanggang zero ay ang cold start. Kung idle ang endpoint at may dumating na request, “it can take some time for your endpoint to spin up the compute resources” (Salin ng BroadRouter: “puwedeng tumagal bago maihanda ng endpoint mo ang compute resources”). Para sa mga large language model, lumalaki ang delay na iyon dahil sampu-sampung gigabyte ng weights ang kailangang i-load. Ang karaniwang solusyon ay magbayad para manatiling handa ang ilang capacity; tinatawag ito ng AWS na provisioned concurrency at sinisingil ayon sa memory, tagal at concurrency.

Nag-iiba ang mga feature kada platform. Kasama ang mga GPU sa sariling listahan ng AWS ng mga hindi suportado ng SageMaker Serverless Inference, kaya kadalasang sa ibang platform nanggagaling ang serverless hosting na kasya ang LLM. Inilalarawan ng Hugging Face ang Inference Providers nito bilang paraan para gumamit ng “serverless inference of models” (Salin ng BroadRouter: “serverless inference ng mga model”) sa ilang provider gamit ang iisang token.

Bakit ito mahalaga

Serverless endpoint Inuupahang GPU (GPU-hour) Shared na per-token API
May bayad kahit idle Wala (maliban kung pinapanatiling handa) Oo Wala
Cold start Posible Wala, kapag tumatakbo na Bihira sa mga nakalistang model
Sarili mong model Oo Oo Ang inililista lang ng provider
Trabaho sa pag-scale Platform Ikaw Provider

Bagay ang serverless sa paputol-putol o mababang traffic gamit ang sarili mong model. Kadalasang mas mura sa naka-reserve na hardware ang tuloy-tuloy at mabigat na load. Lumalabas ang cold start bilang mahabang buntot ng latency, hindi sa average, kaya tingnan ang p95.

Sa BroadNet Inference

Hindi inilalarawan ng BroadNet ang API nito bilang serverless, at walang sinasabi ang docs nito tungkol sa cold start. Sa praktika, taglay ng mga pay-as-you-go key nito ang mga katangian ng serverless na mahalaga sa tumatawag: walang instance na pipiliin, walang ise-scale, at kada token o kada minuto ng audio ang singil. Kada key ang mga limit, 30 request kada minuto at 4 na sabay-sabay, sa halip na kada makina. Ang mga model lang na inililista ng BroadNet ang puwede mong tawagin, gaya ng Qwen3.8 27B; makukuha ang mga private endpoint at ibang model kapag hiniling. Isang minuto lang para subukan ang unang request gamit ang curl.

Mga tanong

Ano ang cold start sa serverless inference?

Ito ang delay kapag nakatanggap ng request ang endpoint na na-scale pababa at kailangan muna nitong simulan ang compute at i-load ang model. Inilalarawan ito ng docs ng SageMaker ng AWS, at nag-aalok sila ng provisioned concurrency para manatiling handa ang capacity, may bayad.

Serverless ba ang LLM API na per-token ang singil?

Mula sa panig ng tumatawag, halos oo. Nagpapadala ka ng request, nagbabayad kada token at wala kang server na mina-manage. Ang pagkakaiba, nananatiling naka-load ang mga sikat na model para sa maraming customer sa isang shared na API, kaya kadalasan hindi mo hinihintay na mag-start ang sarili mong model.

Mas mura ba ang serverless inference kaysa sa dedicated na GPU?

Kadalasan, para sa paputol-putol o mababang traffic, dahil tumitigil ang bayad kapag idle. Para sa tuloy-tuloy at mabigat na load, madalas mas mura kada request ang naka-reserve na GPU. Ikumpara ang pattern ng traffic mo sa parehong presyo.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity