Hindi ibig sabihin ng serverless na walang server. Ibig sabihin, hindi mo sila nakikita, at tumitigil ang bayad mo kapag tumigil kang magpadala ng request.
Paano ito gumagana
Malinaw na reference ang gabay ng AWS para sa SageMaker. Ang mga serverless endpoint ay “automatically launch compute resources and scale them in and out depending on traffic” (Salin ng BroadRouter: “awtomatikong naglulunsad ng compute resources at sina-scale ang mga ito pataas at pababa depende sa traffic”), at kapag walang request, ang serbisyo ay “scales your endpoint down to 0” (Salin ng BroadRouter: “sina-scale pababa sa 0 ang endpoint mo”). Paggamit ang binabayaran mo, hindi instance.
Ang kapalit ng pag-scale hanggang zero ay ang cold start. Kung idle ang endpoint at may dumating na request, “it can take some time for your endpoint to spin up the compute resources” (Salin ng BroadRouter: “puwedeng tumagal bago maihanda ng endpoint mo ang compute resources”). Para sa mga large language model, lumalaki ang delay na iyon dahil sampu-sampung gigabyte ng weights ang kailangang i-load. Ang karaniwang solusyon ay magbayad para manatiling handa ang ilang capacity; tinatawag ito ng AWS na provisioned concurrency at sinisingil ayon sa memory, tagal at concurrency.
Nag-iiba ang mga feature kada platform. Kasama ang mga GPU sa sariling listahan ng AWS ng mga hindi suportado ng SageMaker Serverless Inference, kaya kadalasang sa ibang platform nanggagaling ang serverless hosting na kasya ang LLM. Inilalarawan ng Hugging Face ang Inference Providers nito bilang paraan para gumamit ng “serverless inference of models” (Salin ng BroadRouter: “serverless inference ng mga model”) sa ilang provider gamit ang iisang token.
Bakit ito mahalaga
| Serverless endpoint | Inuupahang GPU (GPU-hour) | Shared na per-token API | |
|---|---|---|---|
| May bayad kahit idle | Wala (maliban kung pinapanatiling handa) | Oo | Wala |
| Cold start | Posible | Wala, kapag tumatakbo na | Bihira sa mga nakalistang model |
| Sarili mong model | Oo | Oo | Ang inililista lang ng provider |
| Trabaho sa pag-scale | Platform | Ikaw | Provider |
Bagay ang serverless sa paputol-putol o mababang traffic gamit ang sarili mong model. Kadalasang mas mura sa naka-reserve na hardware ang tuloy-tuloy at mabigat na load. Lumalabas ang cold start bilang mahabang buntot ng latency, hindi sa average, kaya tingnan ang p95.
Sa BroadNet Inference
Hindi inilalarawan ng BroadNet ang API nito bilang serverless, at walang sinasabi ang docs nito tungkol sa cold start. Sa praktika, taglay ng mga pay-as-you-go key nito ang mga katangian ng serverless na mahalaga sa tumatawag: walang instance na pipiliin, walang ise-scale, at kada token o kada minuto ng audio ang singil. Kada key ang mga limit, 30 request kada minuto at 4 na sabay-sabay, sa halip na kada makina. Ang mga model lang na inililista ng BroadNet ang puwede mong tawagin, gaya ng Qwen3.8 27B; makukuha ang mga private endpoint at ibang model kapag hiniling. Isang minuto lang para subukan ang unang request gamit ang curl.