Kependaman ialah angka yang dirasai oleh pengguna. Ia juga angka yang paling kerap mengejutkan pasukan yang beralih daripada demo kepada produksi.
Cara ia berfungsi
Panduan metrik NVIDIA memberikan formula teras untuk satu permintaan: kependaman hujung ke hujung ialah TTFT ditambah masa penjanaan, dan inter-token latency (ITL) ialah baki masa selepas TTFT dibahagi dengan bilangan token output tolak satu:
e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)
Masa ke token pertama meliputi rangkaian, giliran menunggu dan pembacaan prompt. Masa penjanaan ialah segala-galanya selepas token pertama: (token output − 1) × inter-token latency (ITL), atau lebih kurang token output × ITL bagi balasan yang panjang. Menurut NVIDIA, kependaman hujung ke hujung “includes queueing, batching, and network latency.” (Terjemahan BroadRouter: “termasuk giliran menunggu, batching dan kependaman rangkaian.”)
Contoh pengiraan dengan nombor bulat: katakan model menstrim 50 token output sesaat. Jawapan 600 token mengambil 600 ÷ 50 = 12 saat untuk dijana. Tambah satu saat TTFT dan permintaan itu mengambil kira-kira 13 saat. Separuhkan panjang jawapan dan anda menjimatkan 6 saat; separuhkan TTFT dan anda hanya menjimatkan setengah saat. Di sini, panjang output yang mendominasi.
Bagi sesebuah aplikasi, permintaan jarang berdiri sendiri. Kependaman yang dirasai pada skrin pengguna juga termasuk cubaan semula selepas ralat, masa menunggu slot keserentakan, panggilan alatan antara giliran model, dan kod anda sendiri.
Mengapa ia penting
Panduan kependaman OpenAI menyenaraikan tujuh prinsip: proses token dengan lebih pantas, jana lebih sedikit token, gunakan lebih sedikit token input, buat lebih sedikit permintaan, jalankan secara selari, kurangkan masa menunggu pengguna, dan jangan terus menggunakan LLM secara lalai. Kebanyakannya ialah pilihan reka bentuk, bukan pilihan penyedia.
Laporkan persentil. p50 sebanyak 4 saat dengan p95 sebanyak 30 saat bermakna seorang daripada setiap dua puluh pengguna menunggu setengah minit atau lebih lama. Purata menyembunyikan ekor itu, dan tamat masa (timeout) ditetapkan berdasarkannya.
Kependaman dan throughput saling bertentangan. NVIDIA menyatakan bahawa apabila permintaan serentak bertambah, jumlah token sesaat sistem meningkat manakala token sesaat bagi setiap pengguna menurun. Penyedia yang sibuk boleh melayan lebih ramai orang tetapi tetap terasa lebih perlahan bagi setiap seorang.
Di BroadNet Inference
Halaman pelan BroadNet memberikan kelajuan biasa kira-kira 100 token sesaat. Dokumentasinya tidak menerbitkan angka TTFT atau kependaman persentil. Kunci bayar ikut guna membenarkan 4 permintaan serentak; dokumentasi menyenaraikan had keserentakan sebagai salah satu punca HTTP 429, dan setiap cubaan semula selepasnya menambah kependaman di pihak anda. Larian ejen yang panjang patut menetapkan tamat masa dan cubaan semula yang terhad; lihat tamat masa dan cubaan semula untuk ejen yang berjalan lama. Untuk mengukur setiap bahagian dari klien, lihat panduan kependaman LLM.