Serverless tidak bermaksud tiada pelayan. Ia bermaksud anda tidak pernah melihatnya, dan anda berhenti membayar apabila berhenti menghantar permintaan.
Cara ia berfungsi
Panduan SageMaker AWS memberikan versi rujukan yang jelas. Endpoint serverless “automatically launch compute resources and scale them in and out depending on traffic” (Terjemahan BroadRouter: “melancarkan sumber pengkomputeran secara automatik dan menskalakannya ke dalam dan ke luar bergantung pada trafik”), dan apabila tiada permintaan, perkhidmatan itu “scales your endpoint down to 0” (Terjemahan BroadRouter: “menskala turun endpoint anda kepada 0”). Anda membayar mengikut penggunaan, bukan mengikut instance.
Harga untuk menskala hingga sifar ialah cold start. Jika endpoint telah lama tidak aktif dan permintaan tiba, “it can take some time for your endpoint to spin up the compute resources” (Terjemahan BroadRouter: “endpoint anda mungkin mengambil sedikit masa untuk menyediakan sumber pengkomputeran”). Bagi model bahasa besar, memuatkan berpuluh-puluh gigabait pemberat menjadikan kelewatan itu lebih besar. Penyelesaian biasa ialah membayar untuk memastikan sebahagian kapasiti sentiasa sedia; AWS memanggilnya provisioned concurrency dan mengebilnya mengikut memori, tempoh dan keserentakan.
Ciri berbeza mengikut platform. Senarai pengecualian AWS sendiri untuk SageMaker Serverless Inference termasuk GPU, jadi hosting serverless bersaiz LLM biasanya datang daripada platform lain. Hugging Face menerangkan Inference Providers miliknya sebagai cara menggunakan “serverless inference of models” (Terjemahan BroadRouter: “inferens model secara serverless”) merentas beberapa penyedia dengan satu token.
Mengapa ia penting
| Endpoint serverless | GPU sewa (jam GPU) | API dikongsi bayaran setiap token | |
|---|---|---|---|
| Bayar ketika tiada trafik | Tidak (kecuali dikekalkan sedia) | Ya | Tidak |
| Cold start | Mungkin berlaku | Tidak, setelah berjalan | Jarang bagi model tersenarai |
| Model anda sendiri | Ya | Ya | Hanya yang disenaraikan penyedia |
| Kerja penskalaan | Platform | Anda | Penyedia |
Serverless sesuai untuk trafik yang turun naik atau rendah dengan model anda sendiri. Beban berat yang stabil biasanya lebih murah pada perkakasan yang ditempah. Cold start muncul sebagai ekor kependaman yang panjang, bukan dalam purata, jadi semak p95.
Di BroadNet Inference
BroadNet tidak menggambarkan API-nya sebagai serverless, dan dokumentasinya tidak menyebut apa-apa tentang cold start. Secara praktikal, kunci bayar ikut guna BroadNet berkongsi ciri serverless yang penting kepada pemanggil: tiada instance untuk dipilih, tiada apa untuk diskala, dan bil mengikut token atau minit audio. Hadnya ditetapkan bagi setiap kunci, 30 permintaan seminit dan 4 serentak, bukan bagi setiap mesin. Anda hanya boleh memanggil model yang disenaraikan BroadNet, seperti Qwen3.8 27B; endpoint peribadi dan model lain boleh didapati atas permintaan. Permintaan pertama dengan curl hanya mengambil seminit untuk dicuba.