BroadRouter
Mulai

Serverless inference (inferensi serverless)

Diperbarui

Serverless inference adalah cara menjalankan model machine learning di mana platform otomatis memulai, menskalakan, dan menghentikan komputasi di balik sebuah endpoint, sering kali hingga nol saat tidak dipakai, dan menagih berdasarkan pemakaian, bukan mesin yang dipesan. Konsekuensinya adalah kemungkinan jeda cold start.

Disebut juga: serverless inference, inferensi serverless, LLM serverless, scale to zero, serverless LLM, serverless model endpoint, serverless GPU inference

Serverless bukan berarti tidak ada server. Artinya Anda tidak pernah melihat servernya, dan Anda berhenti membayar saat berhenti mengirim permintaan.

Cara kerjanya

Panduan SageMaker dari AWS memberi versi acuan yang jelas. Endpoint serverless “automatically launch compute resources and scale them in and out depending on traffic” (terjemahan: otomatis menyalakan sumber daya komputasi dan menskalakannya naik-turun sesuai trafik), dan saat tidak ada permintaan, layanan ini “scales your endpoint down to 0” (terjemahan: menurunkan endpoint Anda ke 0). Anda membayar per pemakaian, bukan per instance.

Harga dari scale to zero adalah cold start. Jika endpoint sudah idle lalu ada permintaan masuk, “it can take some time for your endpoint to spin up the compute resources” (terjemahan: endpoint Anda bisa butuh waktu untuk menyalakan sumber daya komputasi). Untuk large language model, memuat bobot berukuran puluhan gigabyte membuat jeda itu makin besar. Solusi yang biasa dipakai adalah membayar agar sebagian kapasitas tetap siap; AWS menyebutnya provisioned concurrency dan menagihnya berdasarkan memori, durasi, dan konkurensi.

Fiturnya berbeda di tiap platform. Daftar pengecualian AWS sendiri untuk SageMaker Serverless Inference mencakup GPU, jadi hosting serverless seukuran LLM biasanya datang dari platform lain. Hugging Face menggambarkan Inference Providers sebagai cara memakai “serverless inference of models” (terjemahan: inferensi model secara serverless) di beberapa penyedia dengan satu token.

Mengapa penting

Endpoint serverless GPU sewaan (GPU-hour) API bersama per token
Bayar saat idle Tidak (kecuali dijaga tetap siap) Ya Tidak
Cold start Mungkin Tidak, setelah berjalan Jarang untuk model yang terdaftar
Model sendiri Ya Ya Hanya yang didaftarkan penyedia
Pekerjaan scaling Platform Anda Penyedia

Serverless cocok untuk trafik yang naik-turun atau rendah dengan model Anda sendiri. Beban berat yang stabil biasanya lebih murah di hardware yang dipesan. Cold start terlihat sebagai ekor latensi yang panjang, bukan di rata-rata, jadi cek p95.

Di BroadNet Inference

BroadNet tidak menyebut API-nya serverless, dan dokumentasinya tidak membahas cold start. Dalam praktiknya, key bayar sesuai pemakaian BroadNet punya sifat serverless yang penting bagi pemanggil: tidak ada instance yang harus dipilih, tidak ada yang perlu diskalakan, dan penagihan per token atau per menit audio. Batasnya per key, bukan per mesin: 30 permintaan per menit dan 4 permintaan berjalan bersamaan. Anda hanya bisa memanggil model yang didaftarkan BroadNet, seperti Qwen3.8 27B; endpoint privat dan model lain tersedia atas permintaan. Permintaan pertama dengan curl bisa dicoba dalam satu menit.

Pertanyaan umum

Apa itu cold start dalam serverless inference?

Jeda ketika endpoint yang sudah diskalakan turun menerima permintaan dan harus memulai komputasi serta memuat model terlebih dahulu. Dokumentasi SageMaker dari AWS menjelaskannya dan menawarkan provisioned concurrency untuk menjaga kapasitas tetap siap dengan biaya tambahan.

Apakah API LLM per token termasuk serverless?

Dari sisi pemanggil, sebagian besar ya. Anda mengirim permintaan, membayar per token, dan tidak mengelola server. Bedanya, API bersama menjaga model populer tetap termuat untuk banyak pelanggan, jadi biasanya Anda tidak perlu menunggu model Anda sendiri dinyalakan.

Apakah serverless inference lebih murah daripada GPU dedicated?

Untuk trafik yang naik-turun atau rendah, biasanya ya, karena Anda berhenti membayar saat idle. Untuk beban berat yang stabil, GPU yang dipesan sering lebih murah per permintaan. Bandingkan pola trafik Anda dengan kedua harga.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity