Had kadar mengira permintaan dalam satu tempoh masa. Keserentakan mengira permintaan pada satu detik. Permintaan LLM boleh mengambil masa berpuluh saat, jadi had kedua sering terkena dahulu.
Cara ia berfungsi
Hukum Little mengaitkan tiga nombor ini:
requests in flight = request rate × average time per request
Maksudnya, bilangan permintaan yang sedang berjalan sama dengan kadar permintaan didarab purata masa setiap permintaan. Ambil kunci hipotetikal yang membenarkan 5 permintaan serentak dan 60 permintaan seminit, dengan setiap permintaan mengambil 20 saat. Had keserentakan hanya membenarkan paling banyak 5 ÷ 20 = 0.25 permintaan sesaat, atau 15 seminit. Anda tidak akan sampai 60 seminit, kerana keserentakan ialah had yang mengikat. Dengan permintaan 2 saat, had yang sama membenarkan 150 seminit, dan had kadar pula yang mengikat. Kalkulator had kadar membuat kiraan ini untuk nombor anda sendiri.
Output panjang, token penaakulan dan prompt panjang semuanya memanjangkan masa permintaan, jadi ia menghabiskan keserentakan dengan lebih cepat. Jawapan yang distrim memegang slotnya sehingga ia tamat.
Mengapa ia penting
Penyedia mengehadkan keserentakan kerana memori dan pengiraan GPU dikongsi. Penanda aras NVIDIA menunjukkan bahawa apabila keserentakan pada pelayan meningkat, jumlah output naik manakala token sesaat bagi setiap permintaan turun. Had bagi setiap kunci menghalang satu klien daripada memperlahankan semua orang.
Bagi aplikasi anda, keserentakan menentukan saiz kumpulan pekerja dan bilangan ejen yang boleh berjalan bersebelahan. Tetapkan saiz kumpulan mengikut had, bukan melebihinya, atau pekerja tambahan hanya mengumpul ralat 429.
Di BroadNet Inference
| Akses | Keserentakan |
|---|---|
| Kunci bayar ikut guna | 4 permintaan serentak, serta 30 permintaan seminit |
| Kunci sejam | Satu strim |
| Pelan tanpa had | Satu permintaan pada satu masa bagi setiap sesi |
Pelan-pelan ini menjual keserentakan secara langsung. Sesi tiada meter token dan menjalankan satu permintaan pada satu masa, sama seperti cara satu ejen bekerja. Permintaan dalam sesi yang sama beratur di belakang satu sama lain. Untuk menjalankan ejen secara selari, beli satu sesi bagi setiap ejen: orkestrator dan tiga sub-ejen memerlukan empat sesi. Satu kunci boleh memegang beberapa sesi.
Baca cara sesi tanpa had berfungsi dan cara menjalankan ejen pengekodan selari pada kadar tetap. Ejen menghabiskan banyak masa menjalankan alat, jadi ukur pertindihan sebenar sebelum membeli lebih banyak sesi.
Kesilapan biasa
- Memulakan satu pekerja bagi setiap tugas tanpa kumpulan. Kelompok 100 tugas menjadi 100 permintaan serentak.
- Menetapkan tamat masa klien lebih pendek daripada jawapan penaakulan yang panjang. Klien berputus asa sementara slot masih sibuk.