Serverless bukan berarti tidak ada server. Artinya Anda tidak pernah melihat servernya, dan Anda berhenti membayar saat berhenti mengirim permintaan.
Cara kerjanya
Panduan SageMaker dari AWS memberi versi acuan yang jelas. Endpoint serverless “automatically launch compute resources and scale them in and out depending on traffic” (terjemahan: otomatis menyalakan sumber daya komputasi dan menskalakannya naik-turun sesuai trafik), dan saat tidak ada permintaan, layanan ini “scales your endpoint down to 0” (terjemahan: menurunkan endpoint Anda ke 0). Anda membayar per pemakaian, bukan per instance.
Harga dari scale to zero adalah cold start. Jika endpoint sudah idle lalu ada permintaan masuk, “it can take some time for your endpoint to spin up the compute resources” (terjemahan: endpoint Anda bisa butuh waktu untuk menyalakan sumber daya komputasi). Untuk large language model, memuat bobot berukuran puluhan gigabyte membuat jeda itu makin besar. Solusi yang biasa dipakai adalah membayar agar sebagian kapasitas tetap siap; AWS menyebutnya provisioned concurrency dan menagihnya berdasarkan memori, durasi, dan konkurensi.
Fiturnya berbeda di tiap platform. Daftar pengecualian AWS sendiri untuk SageMaker Serverless Inference mencakup GPU, jadi hosting serverless seukuran LLM biasanya datang dari platform lain. Hugging Face menggambarkan Inference Providers sebagai cara memakai “serverless inference of models” (terjemahan: inferensi model secara serverless) di beberapa penyedia dengan satu token.
Mengapa penting
| Endpoint serverless | GPU sewaan (GPU-hour) | API bersama per token | |
|---|---|---|---|
| Bayar saat idle | Tidak (kecuali dijaga tetap siap) | Ya | Tidak |
| Cold start | Mungkin | Tidak, setelah berjalan | Jarang untuk model yang terdaftar |
| Model sendiri | Ya | Ya | Hanya yang didaftarkan penyedia |
| Pekerjaan scaling | Platform | Anda | Penyedia |
Serverless cocok untuk trafik yang naik-turun atau rendah dengan model Anda sendiri. Beban berat yang stabil biasanya lebih murah di hardware yang dipesan. Cold start terlihat sebagai ekor latensi yang panjang, bukan di rata-rata, jadi cek p95.
Di BroadNet Inference
BroadNet tidak menyebut API-nya serverless, dan dokumentasinya tidak membahas cold start. Dalam praktiknya, key bayar sesuai pemakaian BroadNet punya sifat serverless yang penting bagi pemanggil: tidak ada instance yang harus dipilih, tidak ada yang perlu diskalakan, dan penagihan per token atau per menit audio. Batasnya per key, bukan per mesin: 30 permintaan per menit dan 4 permintaan berjalan bersamaan. Anda hanya bisa memanggil model yang didaftarkan BroadNet, seperti Qwen3.8 27B; endpoint privat dan model lain tersedia atas permintaan. Permintaan pertama dengan curl bisa dicoba dalam satu menit.