---
title: "Apakah itu inferens serverless? Hosting model ikut guna"
description: "Inferens serverless menjalankan model di sebalik endpoint yang berskala ikut trafik, hingga sifar, dan hanya mengebil penggunaan. Cold start, harga dan perbandingan."
url: https://broadrouter.com/ms/glossary/serverless-inference/
lang: ms
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/glossary/serverless-inference/) (dikemas kini 2026-11-16).

# Inferens tanpa pelayan (serverless inference)

Dikemas kini 2026-11-16

Inferens tanpa pelayan (serverless inference) ialah cara menjalankan model pembelajaran mesin di mana platform memulakan, menskala dan menghentikan pengkomputeran di sebalik endpoint secara automatik, selalunya hingga sifar apabila tiada trafik, dan mengebil penggunaan dan bukannya mesin yang ditempah. Kelemahannya ialah kemungkinan kelewatan cold start.

Juga dikenali sebagai: inferens serverless, LLM tanpa pelayan, serverless LLM, serverless model endpoint, scale to zero, serverless GPU inference

Serverless tidak bermaksud tiada pelayan. Ia bermaksud anda tidak pernah melihatnya, dan anda berhenti membayar apabila berhenti menghantar permintaan.

## Cara ia berfungsi

Panduan SageMaker AWS memberikan versi rujukan yang jelas. Endpoint serverless “automatically launch compute resources and scale them in and out depending on traffic” (Terjemahan BroadRouter: “melancarkan sumber pengkomputeran secara automatik dan menskalakannya ke dalam dan ke luar bergantung pada trafik”), dan apabila tiada permintaan, perkhidmatan itu “scales your endpoint down to 0” (Terjemahan BroadRouter: “menskala turun endpoint anda kepada 0”). Anda membayar mengikut penggunaan, bukan mengikut instance.

Harga untuk menskala hingga sifar ialah **cold start**. Jika endpoint telah lama tidak aktif dan permintaan tiba, “it can take some time for your endpoint to spin up the compute resources” (Terjemahan BroadRouter: “endpoint anda mungkin mengambil sedikit masa untuk menyediakan sumber pengkomputeran”). Bagi model bahasa besar, memuatkan berpuluh-puluh gigabait pemberat menjadikan kelewatan itu lebih besar. Penyelesaian biasa ialah membayar untuk memastikan sebahagian kapasiti sentiasa sedia; AWS memanggilnya provisioned concurrency dan mengebilnya mengikut memori, tempoh dan keserentakan.

Ciri berbeza mengikut platform. Senarai pengecualian AWS sendiri untuk SageMaker Serverless Inference termasuk GPU, jadi hosting serverless bersaiz LLM biasanya datang daripada platform lain. Hugging Face menerangkan Inference Providers miliknya sebagai cara menggunakan “serverless inference of models” (Terjemahan BroadRouter: “inferens model secara serverless”) merentas beberapa penyedia dengan satu token.

## Mengapa ia penting

|  | Endpoint serverless | GPU sewa ([jam GPU](https://broadrouter.com/ms/glossary/gpu-hour/)) | API dikongsi bayaran setiap token |
| --- | --- | --- | --- |
| Bayar ketika tiada trafik | Tidak (kecuali dikekalkan sedia) | Ya | Tidak |
| Cold start | Mungkin berlaku | Tidak, setelah berjalan | Jarang bagi model tersenarai |
| Model anda sendiri | Ya | Ya | Hanya yang disenaraikan penyedia |
| Kerja penskalaan | Platform | Anda | Penyedia |

Serverless sesuai untuk trafik yang turun naik atau rendah dengan model anda sendiri. Beban berat yang stabil biasanya lebih murah pada perkakasan yang ditempah. Cold start muncul sebagai ekor [kependaman](https://broadrouter.com/ms/glossary/latency/) yang panjang, bukan dalam purata, jadi semak p95.

## Di BroadNet Inference

BroadNet tidak menggambarkan API-nya sebagai serverless, dan dokumentasinya tidak menyebut apa-apa tentang cold start. Secara praktikal, kunci [bayar ikut guna](https://broadrouter.com/ms/glossary/pay-as-you-go/) BroadNet berkongsi ciri serverless yang penting kepada pemanggil: tiada instance untuk dipilih, tiada apa untuk diskala, dan bil mengikut token atau minit audio. Hadnya ditetapkan bagi setiap kunci, 30 permintaan seminit dan 4 serentak, bukan bagi setiap mesin. Anda hanya boleh memanggil model yang disenaraikan BroadNet, seperti [Qwen3.8 27B](https://broadrouter.com/ms/models/qwen3.8-27b/); endpoint peribadi dan model lain boleh didapati atas permintaan. [Permintaan pertama dengan curl](https://broadrouter.com/ms/guides/curl-quickstart/) hanya mengambil seminit untuk dicuba.

## Soalan lazim

### Apakah itu cold start dalam inferens serverless?

Kelewatan apabila endpoint yang telah diskala turun menerima permintaan dan perlu memulakan pengkomputeran serta memuatkan model terlebih dahulu. Dokumentasi SageMaker AWS menerangkannya dan menawarkan provisioned concurrency untuk memastikan kapasiti sentiasa sedia, dengan bayaran.

### Adakah API LLM bayaran setiap token itu serverless?

Dari sudut pemanggil, kebanyakannya ya. Anda menghantar permintaan, membayar setiap token dan tidak mengurus sebarang pelayan. Bezanya, API yang dikongsi memastikan model popular sentiasa dimuatkan untuk ramai pelanggan, jadi anda biasanya tidak perlu menunggu model anda sendiri dimulakan.

### Adakah inferens serverless lebih murah daripada GPU khusus?

Bagi trafik yang turun naik atau rendah, biasanya ya, kerana anda berhenti membayar apabila tiada trafik. Bagi beban berat yang stabil, GPU yang ditempah selalunya lebih murah bagi setiap permintaan. Bandingkan corak trafik anda dengan kedua-dua harga.

## Lihat juga

-   [Penyedia inferens (inference provider)](https://broadrouter.com/ms/glossary/inference-provider/) (istilah)
-   [Jam GPU (GPU-hour)](https://broadrouter.com/ms/glossary/gpu-hour/) (istilah)
-   [Bayar ikut guna (pay-as-you-go)](https://broadrouter.com/ms/glossary/pay-as-you-go/) (istilah)
-   [Kependaman (latency)](https://broadrouter.com/ms/glossary/latency/) (istilah)
-   [Keserentakan (concurrency)](https://broadrouter.com/ms/glossary/concurrency/) (istilah)
-   [Permintaan pertama ke BroadNet Inference dengan curl](https://broadrouter.com/ms/guides/curl-quickstart/) (panduan)
-   [Hos LLM sendiri vs API: kos sebenar dan titik pulang modal](https://broadrouter.com/ms/blog/self-hosting-llm-vs-api-cost/) (artikel)
-   [Harga API LLM dijelaskan: input, cache, output dan penaakulan](https://broadrouter.com/ms/blog/llm-api-pricing-explained/) (artikel)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-serverless-inference&utm_content=page-cta) ·

**Sumber**

-   [AWS, panduan pembangun Amazon SageMaker Serverless Inference (disemak 2026-11-16)](https://docs.aws.amazon.com/sagemaker/latest/dg/serverless-endpoints.html)
-   [Hugging Face, dokumentasi Inference Providers (inferens serverless) (disemak 2026-11-16)](https://huggingface.co/docs/inference-providers/index)
-   [Rujukan API BroadNet Inference, had (disemak 2026-11-16) (Bahasa Inggeris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-serverless-inference&utm_content=sources#limits)
