---
title: "Apa itu time to first token (TTFT) di API LLM? | BroadRouter"
description: "Time to first token (TTFT) adalah waktu tunggu sejak permintaan LLM dikirim sampai token output pertama diterima. Komponennya: antrean, prefill, dan jaringan."
url: https://broadrouter.com/id/glossary/time-to-first-token/
lang: id
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/glossary/time-to-first-token/) (diperbarui 2026-11-16).

# Time to first token (TTFT)

Diperbarui 2026-11-16

Time to first token (TTFT) adalah waktu sejak permintaan dikirim ke model bahasa sampai token output pertama tiba. TTFT mencakup waktu jaringan, antrean di server, dan prefill, yaitu tahap saat model membaca seluruh prompt, sehingga nilainya naik seiring panjang prompt dan beban server.

Disebut juga: TTFT, time to first token, waktu token pertama, latensi token pertama, first-token latency, time to first content token, first token time

TTFT adalah jeda sebelum sesuatu terjadi. Di jendela chat, itu layar kosong; di bot suara, itu keheningan.

## Cara kerjanya

Panduan benchmark NVIDIA membagi TTFT menjadi tiga bagian: “request queuing time, prefill time, and network latency” (terjemahan: waktu antrean permintaan, waktu prefill, dan latensi jaringan). Masing-masing punya penyebab sendiri:

| Bagian | Yang memengaruhinya | Yang bisa Anda ubah |
| --- | --- | --- |
| Jaringan | Jarak, setup TLS, proxy | Pakai ulang koneksi; panggil dari region terdekat |
| Antrean | Seberapa sibuk server | Waktu di luar jam sibuk, model atau tier yang lebih sepi |
| Prefill | Panjang prompt, ukuran model | Prompt lebih pendek, prefiks stabil yang bisa di-cache |

Untuk input panjang, prefill biasanya bagian terbesar. Model menjalankan seluruh prompt melalui setiap layer untuk membangun [KV cache](https://broadrouter.com/id/glossary/kv-cache/) sebelum bisa menghasilkan token pertama. NVIDIA mencatat bahwa di server yang sibuk, prefill satu permintaan bisa tumpang-tindih dengan generasi permintaan lain, sehingga TTFT juga ikut bergerak mengikuti lalu lintas orang lain.

Dua definisi penting saat membaca angka. AIPerf dari NVIDIA menghitung token pertama hanya jika token itu membawa konten. Untuk streaming teks di Responses API, panduan OpenAI mengukur TTFT “until you receive the first nonempty response.output\_text.delta” (terjemahan: sampai Anda menerima response.output\_text.delta pertama yang tidak kosong). Dengan [token penalaran](https://broadrouter.com/id/glossary/reasoning-tokens/), kata pertama yang terlihat bisa datang jauh setelah token pertama yang dihasilkan, jadi sebutkan mana yang Anda maksud.

## Kenapa ini penting

TTFT menentukan seberapa cepat sebuah produk terasa, lebih dari kecepatan mentahnya. Panduan OpenAI menyebut “a long prompt can delay the first token, especially when much of the input is new” (terjemahan: prompt yang panjang bisa menunda token pertama, terutama jika sebagian besar inputnya baru). Di sinilah [token input cache](https://broadrouter.com/id/glossary/cached-input-tokens/) membantu. Panduan yang sama menyebut prompt caching “can reuse an eligible exact prefix match” (terjemahan: dapat memakai ulang prefiks yang cocok persis dan memenuhi syarat) dan menyarankan membandingkan TTFT dengan dan tanpa cache hit. Prefiks yang ter-cache melewati sebagian prefill, jadi system prompt yang berulang lebih murah dan bisa lebih cepat mulai.

Untuk agen, TTFT dibayar di setiap langkah. Dua puluh tool call dengan TTFT dua detik menambah empat puluh detik waktu tunggu sebelum output apa pun dihitung.

TTFT adalah satu bagian dari [latensi](https://broadrouter.com/id/glossary/latency/) end-to-end. Sisanya adalah waktu generasi, yang ditentukan oleh [token per detik](https://broadrouter.com/id/glossary/tokens-per-second/).

## Di BroadNet Inference

Dokumentasi BroadNet menjelaskan [streaming](https://broadrouter.com/id/glossary/streaming/) dengan Server-Sent Events yang diakhiri `data: [DONE]`; dengan cara inilah Anda mengamati token pertama di client. DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B bernalar sebelum menjawab, jadi waktu sampai teks pertama yang terlihat sudah termasuk waktu berpikir. BroadNet tidak memublikasikan angka TTFT. Untuk skrip pengukuran waktu dan pelaporan p50/p95, lihat [latensi LLM: TTFT vs token per detik](https://broadrouter.com/id/blog/llm-latency-ttft-throughput/).

## Pertanyaan umum

### Kenapa TTFT lambat jika prompt-nya panjang?

Model harus membaca setiap token prompt dan membangun KV cache sebelum bisa menulis apa pun. Panduan metrik NVIDIA menyebut prompt yang lebih panjang menaikkan TTFT persis karena alasan ini.

### Apakah streaming mengurangi time to first token?

Tidak. Streaming membuat Anda bisa melihat token pertama begitu token itu ada; tanpa streaming, Anda menunggu seluruh balasan. Pekerjaan di sisi server sebelum token itu tetap sama.

### Apakah chunk pertama yang kosong dihitung sebagai token pertama?

Di sebagian besar benchmark, tidak. AIPerf dari NVIDIA mengabaikan respons awal tanpa konten, dan OpenAI mengukur TTFT sampai delta teks pertama yang tidak kosong.

## Lihat juga

-   [Latensi (latency)](https://broadrouter.com/id/glossary/latency/) (istilah)
-   [Token per detik (tokens per second, TPS)](https://broadrouter.com/id/glossary/tokens-per-second/) (istilah)
-   [KV cache](https://broadrouter.com/id/glossary/kv-cache/) (istilah)
-   [Streaming (respons streaming)](https://broadrouter.com/id/glossary/streaming/) (istilah)
-   [Token input cache (cached input tokens)](https://broadrouter.com/id/glossary/cached-input-tokens/) (istilah)
-   [Speculative decoding](https://broadrouter.com/id/glossary/speculative-decoding/) (istilah)
-   [Prefill dan decode (fase inferensi LLM)](https://broadrouter.com/id/glossary/prefill-and-decode/) (istilah)
-   [Streaming chat completions dan menangani koneksi terputus](https://broadrouter.com/id/guides/streaming-chat-completions/) (panduan)
-   [Kenapa model reasoning mengembalikan jawaban kosong](https://broadrouter.com/id/guides/reasoning-tokens-empty-response/) (panduan)
-   [Latensi LLM: TTFT vs token per detik vs waktu end-to-end](https://broadrouter.com/id/blog/llm-latency-ttft-throughput/) (artikel)
-   [Penjelasan streaming LLM: chunk SSE, delta, usage, dan pembatalan](https://broadrouter.com/id/blog/llm-streaming-sse-explained/) (artikel)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-time-to-first-token&utm_content=page-cta) ·

**Sumber**

-   [NVIDIA NIM, metrik benchmark LLM (time to first token)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [OpenAI, panduan optimasi latensi](https://developers.openai.com/api/docs/guides/latency-optimization)
-   [Referensi API BroadNet Inference, streaming dan penalaran (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-time-to-first-token&utm_content=sources)
