Sunucusuz, sunucu olmadığı anlamına gelmez. Sunucuları hiç görmediğiniz ve istek göndermeyi bıraktığınızda ödemeyi de bıraktığınız anlamına gelir.
Nasıl çalışır
AWS’nin SageMaker rehberi açık bir referans sürümü sunar. Sunucusuz uç noktalar “automatically launch compute resources and scale them in and out depending on traffic” (çeviri: hesaplama kaynaklarını otomatik olarak başlatır ve trafiğe göre ölçeklendirir), istek olmadığında da hizmet “scales your endpoint down to 0” (çeviri: uç noktanızı 0’a indirir). Örnek başına değil, kullanım başına ödersiniz.
Sıfıra ölçeklemenin bedeli soğuk başlatmadır (cold start). Bir uç nokta bir süre boşta kaldıysa ve bir istek gelirse “it can take some time for your endpoint to spin up the compute resources” (çeviri: uç noktanızın hesaplama kaynaklarını ayağa kaldırması biraz zaman alabilir). Büyük dil modellerinde onlarca gigabaytlık ağırlıkları yüklemek bu gecikmeyi büyütür. Olağan çözüm, bir miktar kapasiteyi sıcak tutmak için ödeme yapmaktır; AWS buna provisioned concurrency der ve bellek, süre ve eşzamanlılığa göre faturalar.
Özellikler platforma göre değişir. AWS’nin SageMaker Serverless Inference için kendi hariç tutulanlar listesinde GPU’lar da var; bu yüzden LLM boyutunda sunucusuz barındırma genellikle başka platformlardan gelir. Hugging Face, Inference Providers hizmetini tek bir token ile birkaç sağlayıcıda “serverless inference of models” (çeviri: modellerin sunucusuz çıkarımı) kullanmanın bir yolu olarak tanımlar.
Neden önemli
| Sunucusuz uç nokta | Kiralık GPU (GPU saati) | Paylaşımlı token başına API | |
|---|---|---|---|
| Boştayken ödeme | Hayır (sıcak tutulmadıkça) | Evet | Hayır |
| Soğuk başlatma | Olabilir | Hayır, çalışmaya başladıktan sonra | Listelenen modellerde nadir |
| Kendi modeliniz | Evet | Evet | Yalnızca sağlayıcının listeledikleri |
| Ölçekleme işi | Platform | Siz | Sağlayıcı |
Sunucusuz, kendi modelinizle dalgalı veya düşük trafik için uygundur. Sürekli ve yoğun bir yük genellikle ayrılmış donanımda daha ucuza gelir. Soğuk başlatmalar ortalamada değil, uzun bir gecikme kuyruğunda görünür; bu yüzden p95 değerine bakın.
BroadNet Inference’ta
BroadNet API’sini sunucusuz olarak tanımlamaz ve belgeleri soğuk başlatmalar hakkında bir şey söylemez. Pratikte kullandıkça öde anahtarları, çağıran için önemli olan sunucusuz özellikleri taşır: seçilecek bir örnek yok, ölçeklenecek bir şey yok ve faturalandırma token veya ses dakikası başına. Limitler makine başına değil anahtar başınadır: dakikada 30 istek ve aynı anda 4 istek. Yalnızca BroadNet’in listelediği modelleri, örneğin Qwen3.8 27B modelini çağırabilirsiniz; özel uç noktalar ve diğer modeller talep üzerine sunulur. curl ile ilk istek bir dakikada denenebilir.