---
title: "Ano ang serverless inference? Pay-per-use na model hosting"
description: "Sa serverless inference, tumatakbo ang model sa endpoint na sumasabay sa traffic, kahit hanggang zero, at paggamit lang ang sinisingil. Cold start at presyo."
url: https://broadrouter.com/fil/glossary/serverless-inference/
lang: fil
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/glossary/serverless-inference/) (na-update noong 2026-11-16).

# Serverless inference

Na-update 2026-11-16

Ang serverless inference ay paraan ng pagpapatakbo ng machine learning model kung saan awtomatikong sinisimulan, sina-scale at pinapatay ng platform ang compute sa likod ng isang endpoint, madalas hanggang zero kapag idle, at paggamit ang sinisingil sa halip na mga naka-reserve na makina. Ang kapalit ay posibleng delay dahil sa cold start.

Tinatawag ding: serverless na LLM, scale-to-zero, serverless LLM, serverless model endpoint, scale to zero, serverless GPU inference

Hindi ibig sabihin ng serverless na walang server. Ibig sabihin, hindi mo sila nakikita, at tumitigil ang bayad mo kapag tumigil kang magpadala ng request.

## Paano ito gumagana

Malinaw na reference ang gabay ng AWS para sa SageMaker. Ang mga serverless endpoint ay “automatically launch compute resources and scale them in and out depending on traffic” (Salin ng BroadRouter: “awtomatikong naglulunsad ng compute resources at sina-scale ang mga ito pataas at pababa depende sa traffic”), at kapag walang request, ang serbisyo ay “scales your endpoint down to 0” (Salin ng BroadRouter: “sina-scale pababa sa 0 ang endpoint mo”). Paggamit ang binabayaran mo, hindi instance.

Ang kapalit ng pag-scale hanggang zero ay ang **cold start**. Kung idle ang endpoint at may dumating na request, “it can take some time for your endpoint to spin up the compute resources” (Salin ng BroadRouter: “puwedeng tumagal bago maihanda ng endpoint mo ang compute resources”). Para sa mga large language model, lumalaki ang delay na iyon dahil sampu-sampung gigabyte ng weights ang kailangang i-load. Ang karaniwang solusyon ay magbayad para manatiling handa ang ilang capacity; tinatawag ito ng AWS na provisioned concurrency at sinisingil ayon sa memory, tagal at concurrency.

Nag-iiba ang mga feature kada platform. Kasama ang mga GPU sa sariling listahan ng AWS ng mga hindi suportado ng SageMaker Serverless Inference, kaya kadalasang sa ibang platform nanggagaling ang serverless hosting na kasya ang LLM. Inilalarawan ng Hugging Face ang Inference Providers nito bilang paraan para gumamit ng “serverless inference of models” (Salin ng BroadRouter: “serverless inference ng mga model”) sa ilang provider gamit ang iisang token.

## Bakit ito mahalaga

|  | Serverless endpoint | Inuupahang GPU ([GPU-hour](https://broadrouter.com/fil/glossary/gpu-hour/)) | Shared na per-token API |
| --- | --- | --- | --- |
| May bayad kahit idle | Wala (maliban kung pinapanatiling handa) | Oo | Wala |
| Cold start | Posible | Wala, kapag tumatakbo na | Bihira sa mga nakalistang model |
| Sarili mong model | Oo | Oo | Ang inililista lang ng provider |
| Trabaho sa pag-scale | Platform | Ikaw | Provider |

Bagay ang serverless sa paputol-putol o mababang traffic gamit ang sarili mong model. Kadalasang mas mura sa naka-reserve na hardware ang tuloy-tuloy at mabigat na load. Lumalabas ang cold start bilang mahabang buntot ng [latency](https://broadrouter.com/fil/glossary/latency/), hindi sa average, kaya tingnan ang p95.

## Sa BroadNet Inference

Hindi inilalarawan ng BroadNet ang API nito bilang serverless, at walang sinasabi ang docs nito tungkol sa cold start. Sa praktika, taglay ng mga [pay-as-you-go](https://broadrouter.com/fil/glossary/pay-as-you-go/) key nito ang mga katangian ng serverless na mahalaga sa tumatawag: walang instance na pipiliin, walang ise-scale, at kada token o kada minuto ng audio ang singil. Kada key ang mga limit, 30 request kada minuto at 4 na sabay-sabay, sa halip na kada makina. Ang mga model lang na inililista ng BroadNet ang puwede mong tawagin, gaya ng [Qwen3.8 27B](https://broadrouter.com/fil/models/qwen3.8-27b/); makukuha ang mga private endpoint at ibang model kapag hiniling. Isang minuto lang para subukan ang [unang request gamit ang curl](https://broadrouter.com/fil/guides/curl-quickstart/).

## Mga tanong

### Ano ang cold start sa serverless inference?

Ito ang delay kapag nakatanggap ng request ang endpoint na na-scale pababa at kailangan muna nitong simulan ang compute at i-load ang model. Inilalarawan ito ng docs ng SageMaker ng AWS, at nag-aalok sila ng provisioned concurrency para manatiling handa ang capacity, may bayad.

### Serverless ba ang LLM API na per-token ang singil?

Mula sa panig ng tumatawag, halos oo. Nagpapadala ka ng request, nagbabayad kada token at wala kang server na mina-manage. Ang pagkakaiba, nananatiling naka-load ang mga sikat na model para sa maraming customer sa isang shared na API, kaya kadalasan hindi mo hinihintay na mag-start ang sarili mong model.

### Mas mura ba ang serverless inference kaysa sa dedicated na GPU?

Kadalasan, para sa paputol-putol o mababang traffic, dahil tumitigil ang bayad kapag idle. Para sa tuloy-tuloy at mabigat na load, madalas mas mura kada request ang naka-reserve na GPU. Ikumpara ang pattern ng traffic mo sa parehong presyo.

## Tingnan din

-   [Inference provider](https://broadrouter.com/fil/glossary/inference-provider/) (termino)
-   [GPU-hour](https://broadrouter.com/fil/glossary/gpu-hour/) (termino)
-   [Pay-as-you-go](https://broadrouter.com/fil/glossary/pay-as-you-go/) (termino)
-   [Latency](https://broadrouter.com/fil/glossary/latency/) (termino)
-   [Concurrency](https://broadrouter.com/fil/glossary/concurrency/) (termino)
-   [Paano gamitin ang curl sa BroadNet Inference: ang una mong request](https://broadrouter.com/fil/guides/curl-quickstart/) (gabay)
-   [Self-hosting ng LLM vs API: ang tunay na gastos at break-even](https://broadrouter.com/fil/blog/self-hosting-llm-vs-api-cost/) (artikulo)
-   [Presyo ng LLM API, ipinaliwanag: input, cached, output at reasoning](https://broadrouter.com/fil/blog/llm-api-pricing-explained/) (artikulo)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-glossary-serverless-inference&utm_content=page-cta) ·

**Mga source**

-   [AWS, developer guide ng Amazon SageMaker Serverless Inference (sinuri noong 2026-11-16)](https://docs.aws.amazon.com/sagemaker/latest/dg/serverless-endpoints.html)
-   [Hugging Face, dokumentasyon ng Inference Providers (serverless inference) (sinuri noong 2026-11-16)](https://huggingface.co/docs/inference-providers/index)
-   [API reference ng BroadNet Inference, mga limit (sinuri noong 2026-11-16) (Ingles)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-glossary-serverless-inference&utm_content=sources#limits)
