BroadRouter
Mulakan

Inferens tanpa pelayan (serverless inference)

Dikemas kini

Inferens tanpa pelayan (serverless inference) ialah cara menjalankan model pembelajaran mesin di mana platform memulakan, menskala dan menghentikan pengkomputeran di sebalik endpoint secara automatik, selalunya hingga sifar apabila tiada trafik, dan mengebil penggunaan dan bukannya mesin yang ditempah. Kelemahannya ialah kemungkinan kelewatan cold start.

Juga dikenali sebagai: inferens serverless, LLM tanpa pelayan, serverless LLM, serverless model endpoint, scale to zero, serverless GPU inference

Serverless tidak bermaksud tiada pelayan. Ia bermaksud anda tidak pernah melihatnya, dan anda berhenti membayar apabila berhenti menghantar permintaan.

Cara ia berfungsi

Panduan SageMaker AWS memberikan versi rujukan yang jelas. Endpoint serverless “automatically launch compute resources and scale them in and out depending on traffic” (Terjemahan BroadRouter: “melancarkan sumber pengkomputeran secara automatik dan menskalakannya ke dalam dan ke luar bergantung pada trafik”), dan apabila tiada permintaan, perkhidmatan itu “scales your endpoint down to 0” (Terjemahan BroadRouter: “menskala turun endpoint anda kepada 0”). Anda membayar mengikut penggunaan, bukan mengikut instance.

Harga untuk menskala hingga sifar ialah cold start. Jika endpoint telah lama tidak aktif dan permintaan tiba, “it can take some time for your endpoint to spin up the compute resources” (Terjemahan BroadRouter: “endpoint anda mungkin mengambil sedikit masa untuk menyediakan sumber pengkomputeran”). Bagi model bahasa besar, memuatkan berpuluh-puluh gigabait pemberat menjadikan kelewatan itu lebih besar. Penyelesaian biasa ialah membayar untuk memastikan sebahagian kapasiti sentiasa sedia; AWS memanggilnya provisioned concurrency dan mengebilnya mengikut memori, tempoh dan keserentakan.

Ciri berbeza mengikut platform. Senarai pengecualian AWS sendiri untuk SageMaker Serverless Inference termasuk GPU, jadi hosting serverless bersaiz LLM biasanya datang daripada platform lain. Hugging Face menerangkan Inference Providers miliknya sebagai cara menggunakan “serverless inference of models” (Terjemahan BroadRouter: “inferens model secara serverless”) merentas beberapa penyedia dengan satu token.

Mengapa ia penting

Endpoint serverless GPU sewa (jam GPU) API dikongsi bayaran setiap token
Bayar ketika tiada trafik Tidak (kecuali dikekalkan sedia) Ya Tidak
Cold start Mungkin berlaku Tidak, setelah berjalan Jarang bagi model tersenarai
Model anda sendiri Ya Ya Hanya yang disenaraikan penyedia
Kerja penskalaan Platform Anda Penyedia

Serverless sesuai untuk trafik yang turun naik atau rendah dengan model anda sendiri. Beban berat yang stabil biasanya lebih murah pada perkakasan yang ditempah. Cold start muncul sebagai ekor kependaman yang panjang, bukan dalam purata, jadi semak p95.

Di BroadNet Inference

BroadNet tidak menggambarkan API-nya sebagai serverless, dan dokumentasinya tidak menyebut apa-apa tentang cold start. Secara praktikal, kunci bayar ikut guna BroadNet berkongsi ciri serverless yang penting kepada pemanggil: tiada instance untuk dipilih, tiada apa untuk diskala, dan bil mengikut token atau minit audio. Hadnya ditetapkan bagi setiap kunci, 30 permintaan seminit dan 4 serentak, bukan bagi setiap mesin. Anda hanya boleh memanggil model yang disenaraikan BroadNet, seperti Qwen3.8 27B; endpoint peribadi dan model lain boleh didapati atas permintaan. Permintaan pertama dengan curl hanya mengambil seminit untuk dicuba.

Soalan lazim

Apakah itu cold start dalam inferens serverless?

Kelewatan apabila endpoint yang telah diskala turun menerima permintaan dan perlu memulakan pengkomputeran serta memuatkan model terlebih dahulu. Dokumentasi SageMaker AWS menerangkannya dan menawarkan provisioned concurrency untuk memastikan kapasiti sentiasa sedia, dengan bayaran.

Adakah API LLM bayaran setiap token itu serverless?

Dari sudut pemanggil, kebanyakannya ya. Anda menghantar permintaan, membayar setiap token dan tidak mengurus sebarang pelayan. Bezanya, API yang dikongsi memastikan model popular sentiasa dimuatkan untuk ramai pelanggan, jadi anda biasanya tidak perlu menunggu model anda sendiri dimulakan.

Adakah inferens serverless lebih murah daripada GPU khusus?

Bagi trafik yang turun naik atau rendah, biasanya ya, kerana anda berhenti membayar apabila tiada trafik. Bagi beban berat yang stabil, GPU yang ditempah selalunya lebih murah bagi setiap permintaan. Bandingkan corak trafik anda dengan kedua-dua harga.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity