Latensi adalah angka yang dirasakan pengguna. Angka ini juga yang paling sering mengejutkan tim saat beralih dari demo ke produksi.
Cara kerjanya
Panduan metrik NVIDIA memberi rumus inti untuk satu permintaan:
e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)
Time to first token mencakup jaringan, antrean, dan pembacaan prompt. Waktu generasi adalah semua yang terjadi setelah token pertama: (token output − 1) × inter-token latency (ITL), atau kira-kira token output × ITL untuk balasan panjang. Menurut NVIDIA, latensi end-to-end “includes queueing, batching, and network latency” (terjemahan: mencakup antrean, batching, dan latensi jaringan).
Contoh dengan angka bulat: misalkan model men-stream 50 token output per detik. Balasan 600 token butuh 600 ÷ 50 = 12 detik untuk dihasilkan. Tambahkan TTFT satu detik, dan permintaan itu memakan sekitar 13 detik. Potong balasan menjadi setengahnya dan Anda hemat 6 detik; potong TTFT menjadi setengahnya dan Anda hemat setengah detik. Di sini, panjang output yang paling menentukan.
Dalam sebuah aplikasi, permintaan jarang berdiri sendiri. Latensi di layar pengguna juga mencakup percobaan ulang setelah error, waktu menunggu slot konkurensi, tool call di antara giliran model, dan kode Anda sendiri.
Kenapa ini penting
Panduan latensi OpenAI mencantumkan tujuh prinsip: proses token lebih cepat, hasilkan lebih sedikit token, pakai lebih sedikit token input, buat lebih sedikit permintaan, paralelkan, buat pengguna menunggu lebih sedikit, dan jangan otomatis memakai LLM. Sebagian besar adalah pilihan desain, bukan pilihan penyedia.
Laporkan persentil. p50 sebesar 4 detik dengan p95 sebesar 30 detik berarti satu dari dua puluh pengguna menunggu setengah menit atau lebih. Rata-rata menyembunyikan ekor itu, padahal timeout ditentukan olehnya.
Latensi dan throughput saling tarik-menarik. NVIDIA mencatat bahwa saat permintaan bersamaan bertambah, total token per detik sistem naik sementara token per detik per pengguna turun. Penyedia yang sibuk bisa melayani lebih banyak orang namun tetap terasa lebih lambat bagi masing-masing.
Di BroadNet Inference
Halaman paket BroadNet menyebut kecepatan umum sekitar 100 token per detik. Dokumentasinya tidak memublikasikan angka TTFT atau latensi persentil. Kunci bayar sesuai pemakaian mengizinkan 4 permintaan yang berjalan bersamaan; dokumentasi mencantumkan batas konkurensi sebagai salah satu penyebab HTTP 429, dan setiap percobaan ulang setelahnya menambah latensi di sisi Anda. Run agen yang panjang sebaiknya memakai timeout dan percobaan ulang yang dibatasi; lihat timeout dan percobaan ulang untuk agen yang berjalan lama. Untuk mengukur setiap komponen dari sisi client, lihat panduan latensi LLM.