BroadRouter
Başlayın

Sunucusuz çıkarım (serverless inference)

Güncellendi

Sunucusuz çıkarım (serverless inference), platformun bir uç noktanın arkasındaki hesaplama kaynağını otomatik olarak başlattığı, ölçeklediği ve durdurduğu, boştayken çoğu zaman sıfıra indirdiği bir model çalıştırma yöntemidir. Ayrılmış makineler yerine kullanım faturalanır. Bedeli olası soğuk başlatma gecikmesidir.

Diğer adları: sunucusuz çıkarım, sunucusuz LLM, sıfıra ölçekleme, serverless inference, serverless LLM, serverless model endpoint, scale to zero, serverless GPU inference

Sunucusuz, sunucu olmadığı anlamına gelmez. Sunucuları hiç görmediğiniz ve istek göndermeyi bıraktığınızda ödemeyi de bıraktığınız anlamına gelir.

Nasıl çalışır

AWS’nin SageMaker rehberi açık bir referans sürümü sunar. Sunucusuz uç noktalar “automatically launch compute resources and scale them in and out depending on traffic” (çeviri: hesaplama kaynaklarını otomatik olarak başlatır ve trafiğe göre ölçeklendirir), istek olmadığında da hizmet “scales your endpoint down to 0” (çeviri: uç noktanızı 0’a indirir). Örnek başına değil, kullanım başına ödersiniz.

Sıfıra ölçeklemenin bedeli soğuk başlatmadır (cold start). Bir uç nokta bir süre boşta kaldıysa ve bir istek gelirse “it can take some time for your endpoint to spin up the compute resources” (çeviri: uç noktanızın hesaplama kaynaklarını ayağa kaldırması biraz zaman alabilir). Büyük dil modellerinde onlarca gigabaytlık ağırlıkları yüklemek bu gecikmeyi büyütür. Olağan çözüm, bir miktar kapasiteyi sıcak tutmak için ödeme yapmaktır; AWS buna provisioned concurrency der ve bellek, süre ve eşzamanlılığa göre faturalar.

Özellikler platforma göre değişir. AWS’nin SageMaker Serverless Inference için kendi hariç tutulanlar listesinde GPU’lar da var; bu yüzden LLM boyutunda sunucusuz barındırma genellikle başka platformlardan gelir. Hugging Face, Inference Providers hizmetini tek bir token ile birkaç sağlayıcıda “serverless inference of models” (çeviri: modellerin sunucusuz çıkarımı) kullanmanın bir yolu olarak tanımlar.

Neden önemli

Sunucusuz uç nokta Kiralık GPU (GPU saati) Paylaşımlı token başına API
Boştayken ödeme Hayır (sıcak tutulmadıkça) Evet Hayır
Soğuk başlatma Olabilir Hayır, çalışmaya başladıktan sonra Listelenen modellerde nadir
Kendi modeliniz Evet Evet Yalnızca sağlayıcının listeledikleri
Ölçekleme işi Platform Siz Sağlayıcı

Sunucusuz, kendi modelinizle dalgalı veya düşük trafik için uygundur. Sürekli ve yoğun bir yük genellikle ayrılmış donanımda daha ucuza gelir. Soğuk başlatmalar ortalamada değil, uzun bir gecikme kuyruğunda görünür; bu yüzden p95 değerine bakın.

BroadNet Inference’ta

BroadNet API’sini sunucusuz olarak tanımlamaz ve belgeleri soğuk başlatmalar hakkında bir şey söylemez. Pratikte kullandıkça öde anahtarları, çağıran için önemli olan sunucusuz özellikleri taşır: seçilecek bir örnek yok, ölçeklenecek bir şey yok ve faturalandırma token veya ses dakikası başına. Limitler makine başına değil anahtar başınadır: dakikada 30 istek ve aynı anda 4 istek. Yalnızca BroadNet’in listelediği modelleri, örneğin Qwen3.8 27B modelini çağırabilirsiniz; özel uç noktalar ve diğer modeller talep üzerine sunulur. curl ile ilk istek bir dakikada denenebilir.

Sık sorulan sorular

Sunucusuz çıkarımda soğuk başlatma (cold start) nedir?

Küçülmüş bir uç noktaya istek geldiğinde, önce hesaplama kaynağını başlatıp modeli yüklemesi gerektiği için oluşan gecikmedir. AWS'nin SageMaker belgeleri bunu anlatır ve kapasiteyi ücret karşılığında sıcak tutmak için provisioned concurrency sunar.

Token başına ücretli bir LLM API'si sunucusuz mudur?

Çağıran açısından büyük ölçüde evet. İstek gönderirsiniz, token başına ödersiniz ve hiçbir sunucu yönetmezsiniz. Fark şu: paylaşımlı bir API popüler modelleri birçok müşteri için yüklü tutar, bu yüzden genellikle kendi modelinizin başlamasını beklemezsiniz.

Sunucusuz çıkarım ayrılmış bir GPU'dan ucuz mu?

Dalgalı veya düşük trafikte genellikle evet, çünkü boştayken ödeme durur. Sürekli ve yoğun yükte ayrılmış bir GPU çoğu zaman istek başına daha ucuza gelir. Trafik deseninizi iki fiyatla da karşılaştırın.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor