TTFT — это пауза, пока ничего не происходит. В окне чата это пустой экран, в голосовом боте — тишина в эфире.
Как это работает
Руководство NVIDIA по бенчмаркингу раскладывает TTFT на три части: “request queuing time, prefill time, and network latency” (перевод: «время в очереди, время prefill и сетевая задержка»). У каждой своя причина:
| Составляющая | От чего зависит | Что можно изменить |
|---|---|---|
| Сеть | Расстояние, установка TLS, прокси | Переиспользуйте соединения; вызывайте из близкого региона |
| Очередь | Насколько загружен сервер | Время вне пика, менее загруженная модель или уровень |
| Prefill | Длина промпта, размер модели | Короче промпты, неизменные префиксы, которые можно кэшировать |
На длинных входах основная часть обычно приходится на prefill. Модель прогоняет весь промпт через все слои и строит KV-кэш, прежде чем выдать первый токен. NVIDIA отмечает, что на загруженном сервере prefill одного запроса может совпадать по времени с генерацией другого, поэтому TTFT зависит ещё и от чужого трафика.
Когда читаете цифры, важны два определения. AIPerf от NVIDIA считает первый токен, только если в нём есть содержимое. Для стримингового текста в Responses API руководство OpenAI измеряет TTFT “until you receive the first nonempty response.output_text.delta” (перевод: «до получения первой непустой response.output_text.delta»). С токенами рассуждений первое видимое слово может появиться намного позже первого сгенерированного токена, поэтому уточняйте, что имеете в виду.
Почему это важно
Насколько быстрым кажется продукт, TTFT определяет сильнее, чем чистая скорость. В руководстве OpenAI сказано: “a long prompt can delay the first token, especially when much of the input is new” (перевод: «длинный промпт может задержать первый токен, особенно если бо́льшая часть входа новая»). Здесь помогает вход из кэша. То же руководство говорит, что кэширование промптов “can reuse an eligible exact prefix match” (перевод: «может повторно использовать подходящее точное совпадение префикса»), и предлагает сравнить TTFT с попаданиями в кэш и без них. Закэшированный префикс пропускает часть prefill, поэтому повторяющийся системный промпт стоит меньше и может начать отвечать раньше.
Агенты платят TTFT на каждом шаге. Двадцать вызовов инструментов при TTFT в две секунды добавляют сорок секунд ожидания, не считая самого вывода.
TTFT — одна из частей сквозной задержки. Остальное — время генерации, которое задаётся числом токенов в секунду.
В BroadNet Inference
Документация BroadNet описывает стриминг через Server-Sent Events, который заканчивается строкой data: [DONE], — так первый токен и наблюдают на клиенте. DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждают перед ответом, поэтому время до первого видимого текста включает размышления. BroadNet не публикует значение TTFT. Скрипт для замеров и отчёты p50/p95 — в статье задержка LLM: TTFT и токены в секунду.