---
title: "Apa itu serverless inference? Hosting model bayar per pakai"
description: "Serverless inference menjalankan model di endpoint yang skalanya ikut trafik, bahkan ke nol, dan hanya menagih pemakaian. Cold start, harga, dan perbandingannya."
url: https://broadrouter.com/id/glossary/serverless-inference/
lang: id
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/glossary/serverless-inference/) (diperbarui 2026-11-16).

# Serverless inference (inferensi serverless)

Diperbarui 2026-11-16

Serverless inference adalah cara menjalankan model machine learning di mana platform otomatis memulai, menskalakan, dan menghentikan komputasi di balik sebuah endpoint, sering kali hingga nol saat tidak dipakai, dan menagih berdasarkan pemakaian, bukan mesin yang dipesan. Konsekuensinya adalah kemungkinan jeda cold start.

Disebut juga: serverless inference, inferensi serverless, LLM serverless, scale to zero, serverless LLM, serverless model endpoint, serverless GPU inference

Serverless bukan berarti tidak ada server. Artinya Anda tidak pernah melihat servernya, dan Anda berhenti membayar saat berhenti mengirim permintaan.

## Cara kerjanya

Panduan SageMaker dari AWS memberi versi acuan yang jelas. Endpoint serverless “automatically launch compute resources and scale them in and out depending on traffic” (terjemahan: otomatis menyalakan sumber daya komputasi dan menskalakannya naik-turun sesuai trafik), dan saat tidak ada permintaan, layanan ini “scales your endpoint down to 0” (terjemahan: menurunkan endpoint Anda ke 0). Anda membayar per pemakaian, bukan per instance.

Harga dari scale to zero adalah **cold start**. Jika endpoint sudah idle lalu ada permintaan masuk, “it can take some time for your endpoint to spin up the compute resources” (terjemahan: endpoint Anda bisa butuh waktu untuk menyalakan sumber daya komputasi). Untuk large language model, memuat bobot berukuran puluhan gigabyte membuat jeda itu makin besar. Solusi yang biasa dipakai adalah membayar agar sebagian kapasitas tetap siap; AWS menyebutnya provisioned concurrency dan menagihnya berdasarkan memori, durasi, dan konkurensi.

Fiturnya berbeda di tiap platform. Daftar pengecualian AWS sendiri untuk SageMaker Serverless Inference mencakup GPU, jadi hosting serverless seukuran LLM biasanya datang dari platform lain. Hugging Face menggambarkan Inference Providers sebagai cara memakai “serverless inference of models” (terjemahan: inferensi model secara serverless) di beberapa penyedia dengan satu token.

## Mengapa penting

|  | Endpoint serverless | GPU sewaan ([GPU-hour](https://broadrouter.com/id/glossary/gpu-hour/)) | API bersama per token |
| --- | --- | --- | --- |
| Bayar saat idle | Tidak (kecuali dijaga tetap siap) | Ya | Tidak |
| Cold start | Mungkin | Tidak, setelah berjalan | Jarang untuk model yang terdaftar |
| Model sendiri | Ya | Ya | Hanya yang didaftarkan penyedia |
| Pekerjaan scaling | Platform | Anda | Penyedia |

Serverless cocok untuk trafik yang naik-turun atau rendah dengan model Anda sendiri. Beban berat yang stabil biasanya lebih murah di hardware yang dipesan. Cold start terlihat sebagai ekor [latensi](https://broadrouter.com/id/glossary/latency/) yang panjang, bukan di rata-rata, jadi cek p95.

## Di BroadNet Inference

BroadNet tidak menyebut API-nya serverless, dan dokumentasinya tidak membahas cold start. Dalam praktiknya, key [bayar sesuai pemakaian](https://broadrouter.com/id/glossary/pay-as-you-go/) BroadNet punya sifat serverless yang penting bagi pemanggil: tidak ada instance yang harus dipilih, tidak ada yang perlu diskalakan, dan penagihan per token atau per menit audio. Batasnya per key, bukan per mesin: 30 permintaan per menit dan 4 permintaan berjalan bersamaan. Anda hanya bisa memanggil model yang didaftarkan BroadNet, seperti [Qwen3.8 27B](https://broadrouter.com/id/models/qwen3.8-27b/); endpoint privat dan model lain tersedia atas permintaan. [Permintaan pertama dengan curl](https://broadrouter.com/id/guides/curl-quickstart/) bisa dicoba dalam satu menit.

## Pertanyaan umum

### Apa itu cold start dalam serverless inference?

Jeda ketika endpoint yang sudah diskalakan turun menerima permintaan dan harus memulai komputasi serta memuat model terlebih dahulu. Dokumentasi SageMaker dari AWS menjelaskannya dan menawarkan provisioned concurrency untuk menjaga kapasitas tetap siap dengan biaya tambahan.

### Apakah API LLM per token termasuk serverless?

Dari sisi pemanggil, sebagian besar ya. Anda mengirim permintaan, membayar per token, dan tidak mengelola server. Bedanya, API bersama menjaga model populer tetap termuat untuk banyak pelanggan, jadi biasanya Anda tidak perlu menunggu model Anda sendiri dinyalakan.

### Apakah serverless inference lebih murah daripada GPU dedicated?

Untuk trafik yang naik-turun atau rendah, biasanya ya, karena Anda berhenti membayar saat idle. Untuk beban berat yang stabil, GPU yang dipesan sering lebih murah per permintaan. Bandingkan pola trafik Anda dengan kedua harga.

## Lihat juga

-   [Penyedia inferensi (inference provider)](https://broadrouter.com/id/glossary/inference-provider/) (istilah)
-   [GPU-hour (jam GPU)](https://broadrouter.com/id/glossary/gpu-hour/) (istilah)
-   [Bayar sesuai pemakaian (pay-as-you-go)](https://broadrouter.com/id/glossary/pay-as-you-go/) (istilah)
-   [Latensi (latency)](https://broadrouter.com/id/glossary/latency/) (istilah)
-   [Konkurensi (concurrency)](https://broadrouter.com/id/glossary/concurrency/) (istilah)
-   [Permintaan pertama ke BroadNet Inference dengan curl](https://broadrouter.com/id/guides/curl-quickstart/) (panduan)
-   [Self-hosting LLM vs API: biaya sebenarnya dan titik impasnya](https://broadrouter.com/id/blog/self-hosting-llm-vs-api-cost/) (artikel)
-   [Harga API LLM: input, input cache, output, dan token penalaran](https://broadrouter.com/id/blog/llm-api-pricing-explained/) (artikel)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-serverless-inference&utm_content=page-cta) ·

**Sumber**

-   [AWS, panduan developer Amazon SageMaker Serverless Inference (diperiksa 2026-11-16)](https://docs.aws.amazon.com/sagemaker/latest/dg/serverless-endpoints.html)
-   [Hugging Face, dokumentasi Inference Providers (serverless inference) (diperiksa 2026-11-16)](https://huggingface.co/docs/inference-providers/index)
-   [Referensi API BroadNet Inference, batas (diperiksa 2026-11-16) (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-serverless-inference&utm_content=sources#limits)
