BroadRouter
Mulakan

Kependaman (latency)

Dikemas kini

Kependaman, bagi API model bahasa, ialah masa yang diambil oleh sesuatu permintaan dari saat dihantar sehingga token output terakhir diterima. Ia ialah jumlah masa ke token pertama dan masa penjanaan, dan biasanya dilaporkan sebagai persentil seperti p50 dan p95, bukan purata.

Juga dikenali sebagai: latency, kependaman LLM, masa respons, kependaman hujung ke hujung, LLM latency, end-to-end latency, response time, e2e latency, inter-token latency

Kependaman ialah angka yang dirasai oleh pengguna. Ia juga angka yang paling kerap mengejutkan pasukan yang beralih daripada demo kepada produksi.

Cara ia berfungsi

Panduan metrik NVIDIA memberikan formula teras untuk satu permintaan: kependaman hujung ke hujung ialah TTFT ditambah masa penjanaan, dan inter-token latency (ITL) ialah baki masa selepas TTFT dibahagi dengan bilangan token output tolak satu:

e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)

Masa ke token pertama meliputi rangkaian, giliran menunggu dan pembacaan prompt. Masa penjanaan ialah segala-galanya selepas token pertama: (token output − 1) × inter-token latency (ITL), atau lebih kurang token output × ITL bagi balasan yang panjang. Menurut NVIDIA, kependaman hujung ke hujung “includes queueing, batching, and network latency.” (Terjemahan BroadRouter: “termasuk giliran menunggu, batching dan kependaman rangkaian.”)

Contoh pengiraan dengan nombor bulat: katakan model menstrim 50 token output sesaat. Jawapan 600 token mengambil 600 ÷ 50 = 12 saat untuk dijana. Tambah satu saat TTFT dan permintaan itu mengambil kira-kira 13 saat. Separuhkan panjang jawapan dan anda menjimatkan 6 saat; separuhkan TTFT dan anda hanya menjimatkan setengah saat. Di sini, panjang output yang mendominasi.

Bagi sesebuah aplikasi, permintaan jarang berdiri sendiri. Kependaman yang dirasai pada skrin pengguna juga termasuk cubaan semula selepas ralat, masa menunggu slot keserentakan, panggilan alatan antara giliran model, dan kod anda sendiri.

Mengapa ia penting

Panduan kependaman OpenAI menyenaraikan tujuh prinsip: proses token dengan lebih pantas, jana lebih sedikit token, gunakan lebih sedikit token input, buat lebih sedikit permintaan, jalankan secara selari, kurangkan masa menunggu pengguna, dan jangan terus menggunakan LLM secara lalai. Kebanyakannya ialah pilihan reka bentuk, bukan pilihan penyedia.

Laporkan persentil. p50 sebanyak 4 saat dengan p95 sebanyak 30 saat bermakna seorang daripada setiap dua puluh pengguna menunggu setengah minit atau lebih lama. Purata menyembunyikan ekor itu, dan tamat masa (timeout) ditetapkan berdasarkannya.

Kependaman dan throughput saling bertentangan. NVIDIA menyatakan bahawa apabila permintaan serentak bertambah, jumlah token sesaat sistem meningkat manakala token sesaat bagi setiap pengguna menurun. Penyedia yang sibuk boleh melayan lebih ramai orang tetapi tetap terasa lebih perlahan bagi setiap seorang.

Di BroadNet Inference

Halaman pelan BroadNet memberikan kelajuan biasa kira-kira 100 token sesaat. Dokumentasinya tidak menerbitkan angka TTFT atau kependaman persentil. Kunci bayar ikut guna membenarkan 4 permintaan serentak; dokumentasi menyenaraikan had keserentakan sebagai salah satu punca HTTP 429, dan setiap cubaan semula selepasnya menambah kependaman di pihak anda. Larian ejen yang panjang patut menetapkan tamat masa dan cubaan semula yang terhad; lihat tamat masa dan cubaan semula untuk ejen yang berjalan lama. Untuk mengukur setiap bahagian dari klien, lihat panduan kependaman LLM.

Soalan lazim

Apakah perbezaan antara kependaman dan throughput?

Kependaman ialah tempoh satu permintaan. Throughput ialah jumlah kerja yang diselesaikan oleh sistem setiap saat merentas semua permintaan. Pelayan boleh menaikkan throughput dengan menggabungkan (batching) lebih banyak permintaan sementara setiap satu menjadi lebih perlahan.

Apakah itu inter-token latency?

Purata jurang antara token output selepas token pertama, juga dipanggil masa bagi setiap token output. NVIDIA mentakrifkannya sebagai kependaman hujung ke hujung tolak TTFT, dibahagi dengan bilangan token output tolak satu.

Bagaimanakah saya boleh mengurangkan kependaman LLM?

Jana lebih sedikit token output, hantar prompt yang lebih pendek, strim jawapan supaya pengguna melihat teks lebih awal, dan jalankan panggilan yang tidak bergantung antara satu sama lain secara selari. Panduan kependaman OpenAI menyenaraikan perkara ini dalam tujuh prinsipnya.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity