BroadRouter

Time to first token (TTFT)

Diperbarui

Time to first token (TTFT) adalah waktu sejak permintaan dikirim ke model bahasa sampai token output pertama tiba. TTFT mencakup waktu jaringan, antrean di server, dan prefill, yaitu tahap saat model membaca seluruh prompt, sehingga nilainya naik seiring panjang prompt dan beban server.

Disebut juga: TTFT, time to first token, waktu token pertama, latensi token pertama, first-token latency, time to first content token, first token time

TTFT adalah jeda sebelum sesuatu terjadi. Di jendela chat, itu layar kosong; di bot suara, itu keheningan.

Cara kerjanya

Panduan benchmark NVIDIA membagi TTFT menjadi tiga bagian: “request queuing time, prefill time, and network latency” (terjemahan: waktu antrean permintaan, waktu prefill, dan latensi jaringan). Masing-masing punya penyebab sendiri:

Bagian Yang memengaruhinya Yang bisa Anda ubah
Jaringan Jarak, setup TLS, proxy Pakai ulang koneksi; panggil dari region terdekat
Antrean Seberapa sibuk server Waktu di luar jam sibuk, model atau tier yang lebih sepi
Prefill Panjang prompt, ukuran model Prompt lebih pendek, prefiks stabil yang bisa di-cache

Untuk input panjang, prefill biasanya bagian terbesar. Model menjalankan seluruh prompt melalui setiap layer untuk membangun KV cache sebelum bisa menghasilkan token pertama. NVIDIA mencatat bahwa di server yang sibuk, prefill satu permintaan bisa tumpang-tindih dengan generasi permintaan lain, sehingga TTFT juga ikut bergerak mengikuti lalu lintas orang lain.

Dua definisi penting saat membaca angka. AIPerf dari NVIDIA menghitung token pertama hanya jika token itu membawa konten. Untuk streaming teks di Responses API, panduan OpenAI mengukur TTFT “until you receive the first nonempty response.output_text.delta” (terjemahan: sampai Anda menerima response.output_text.delta pertama yang tidak kosong). Dengan token penalaran, kata pertama yang terlihat bisa datang jauh setelah token pertama yang dihasilkan, jadi sebutkan mana yang Anda maksud.

Kenapa ini penting

TTFT menentukan seberapa cepat sebuah produk terasa, lebih dari kecepatan mentahnya. Panduan OpenAI menyebut “a long prompt can delay the first token, especially when much of the input is new” (terjemahan: prompt yang panjang bisa menunda token pertama, terutama jika sebagian besar inputnya baru). Di sinilah token input cache membantu. Panduan yang sama menyebut prompt caching “can reuse an eligible exact prefix match” (terjemahan: dapat memakai ulang prefiks yang cocok persis dan memenuhi syarat) dan menyarankan membandingkan TTFT dengan dan tanpa cache hit. Prefiks yang ter-cache melewati sebagian prefill, jadi system prompt yang berulang lebih murah dan bisa lebih cepat mulai.

Untuk agen, TTFT dibayar di setiap langkah. Dua puluh tool call dengan TTFT dua detik menambah empat puluh detik waktu tunggu sebelum output apa pun dihitung.

TTFT adalah satu bagian dari latensi end-to-end. Sisanya adalah waktu generasi, yang ditentukan oleh token per detik.

Di BroadNet Inference

Dokumentasi BroadNet menjelaskan streaming dengan Server-Sent Events yang diakhiri data: [DONE]; dengan cara inilah Anda mengamati token pertama di client. DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B bernalar sebelum menjawab, jadi waktu sampai teks pertama yang terlihat sudah termasuk waktu berpikir. BroadNet tidak memublikasikan angka TTFT. Untuk skrip pengukuran waktu dan pelaporan p50/p95, lihat latensi LLM: TTFT vs token per detik.

Pertanyaan umum

Kenapa TTFT lambat jika prompt-nya panjang?

Model harus membaca setiap token prompt dan membangun KV cache sebelum bisa menulis apa pun. Panduan metrik NVIDIA menyebut prompt yang lebih panjang menaikkan TTFT persis karena alasan ini.

Apakah streaming mengurangi time to first token?

Tidak. Streaming membuat Anda bisa melihat token pertama begitu token itu ada; tanpa streaming, Anda menunggu seluruh balasan. Pekerjaan di sisi server sebelum token itu tetap sama.

Apakah chunk pertama yang kosong dihitung sebagai token pertama?

Di sebagian besar benchmark, tidak. AIPerf dari NVIDIA mengabaikan respons awal tanpa konten, dan OpenAI mengukur TTFT sampai delta teks pertama yang tidak kosong.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity