Hız sınırları zaman içindeki istekleri sayar. Eşzamanlılık ise tek bir andaki istekleri sayar. LLM istekleri saniyelerce sürebildiği için çoğu zaman ilk devreye giren ikinci sınırdır.
Nasıl çalışır
Little yasası üç sayıyı birbirine bağlar:
requests in flight = request rate × average time per request
Yani: işlemdeki istekler = istek hızı × istek başına ortalama süre. Aynı anda 5 isteğe ve dakikada 60 isteğe izin veren varsayımsal bir anahtar düşünün; her istek 20 saniye sürsün. Eşzamanlılık sınırı en fazla saniyede 5 ÷ 20 = 0,25 isteğe, yani dakikada 15 isteğe izin verir. Dakikada 60’a hiçbir zaman ulaşamazsınız, çünkü bağlayıcı sınır eşzamanlılıktır. 2 saniyelik isteklerde aynı sınır dakikada 150 isteğe izin verir ve bu kez bağlayıcı olan hız sınırıdır. Hız sınırı hesaplayıcısı bu hesabı kendi sayılarınızla yapar.
Uzun çıktılar, akıl yürütme token’ları ve uzun istemler isteklerin daha uzun sürmesine neden olur, dolayısıyla eşzamanlılığı daha hızlı tüketir. Akışla gelen bir yanıt, bitene kadar yuvasını tutar.
Neden önemli
Sağlayıcılar eşzamanlılığı sınırlar, çünkü GPU belleği ve işlem gücü paylaşılır. NVIDIA’nın kıyaslamaları, bir sunucudaki eşzamanlılık arttıkça toplam çıktının yükseldiğini, ancak her isteğin saniyedeki token değerinin düştüğünü gösterir. Anahtar başına sınır, tek bir istemcinin herkesi yavaşlatmasını önler.
Uygulamanız için eşzamanlılık, işçi havuzlarının boyutunu ve kaç ajanın yan yana çalışabileceğini belirler. Havuzunuzu sınırın üzerinde değil, sınıra göre boyutlandırın; aksi halde fazladan işçiler yalnızca 429 hatası toplar.
BroadNet Inference’ta
| Erişim | Eşzamanlılık |
|---|---|
| Kullandıkça öde anahtarı | Aynı anda 4 istek, ayrıca dakikada 30 istek |
| Saatlik anahtar | Tek akış |
| Sınırsız plan | Oturum başına aynı anda tek istek |
Planlar doğrudan eşzamanlılık satar. Bir oturumun token sayacı yoktur ve tıpkı tek bir ajanın çalıştığı gibi aynı anda tek istek çalıştırır. Aynı oturumdaki istekler birbirinin arkasında sıraya girer. Ajanları paralel çalıştırmak için ajan başına bir oturum satın alın: bir orkestratör ve üç alt ajan dört oturum gerektirir. Tek bir anahtar birden fazla oturum barındırabilir.
Sınırsız oturumların nasıl çalıştığını ve sabit fiyatla paralel kodlama ajanlarının nasıl çalıştırılacağını okuyun. Ajanlar zamanlarının büyük kısmını araç çalıştırarak geçirir; bu yüzden daha fazla oturum almadan önce gerçek örtüşmeyi ölçün.
Sık yapılan hatalar
- Havuz olmadan her görev için bir işçi başlatmak. 100 görevlik bir toplu iş, aynı anda 100 isteğe dönüşür.
- İstemci zaman aşımlarını uzun bir akıl yürütme yanıtından kısa ayarlamak. İstemci vazgeçer, ama yuva hâlâ meşguldür.