---
title: "Задержка LLM: TTFT, токены в секунду, полное время | BroadRouter"
description: "Что измеряют время до первого токена, токены в секунду и полная задержка, как замерить каждую метрику на клиенте с кодом и какие меры какую цифру улучшают."
url: https://broadrouter.com/ru/blog/llm-latency-ttft-throughput/
lang: ru
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/blog/llm-latency-ttft-throughput/) (обновлён 2026-11-16).

# Задержка LLM: TTFT, токены в секунду и полное время ответа

Команда BroadNet Inference · 4 мин чтения · Опубликовано 2026-11-14 · Обновлено 2026-11-16

Время до первого токена (TTFT) — ожидание до первого выходного токена. Токены в секунду — скорость, с которой затем стримится ответ. Полная задержка — итог: TTFT плюс время генерации, то есть примерно число выходных токенов, делённое на скорость на пользователя. На TTFT влияют длина промпта и очереди, на скорость — размер модели и нагрузка, на итог — длина ответа. Измеряйте все три по p50 и p95.

## Главное

-   Полная задержка ≈ TTFT + (выходные токены − 1) × межтокенная задержка, то есть примерно TTFT + выходные токены ÷ токены в секунду на пользователя. Для длинных ответов главное — скорость и длина, для коротких — TTFT.
-   У моделей с рассуждениями первый видимый токен приходит после размышлений, поэтому время до первого токена контента измеряйте отдельно от времени до первого токена.
-   Длинные промпты повышают TTFT, потому что модель сначала читает весь промпт; кэшированные префиксы обычно помогают.
-   При скорости около 100 токенов в секунду время генерации растёт вместе с длиной ответа: вдесятеро больше выходных токенов стримятся примерно вдесятеро дольше.
-   Указывайте p50 и p95 вместе с длиной промпта: среднее без размера промпта сравнивать нельзя.

**На этой странице**

1.  Что такое TTFT, токены в секунду и полная задержка?
2.  Зачем моделям с рассуждениями четвёртая цифра?
3.  Как измерить задержку на клиенте?
4.  Что на самом деле улучшает каждую цифру?
5.  Как длина промпта меняет баланс?
6.  Какое место здесь занимает BroadNet Inference

«API тормозит» может означать три разные вещи, и у каждой своё решение. Пользователь чата ждёт первого слова. Агент ждёт весь вызов инструмента целиком. Пакетному заданию важны токены в час. В этой статье — определения трёх цифр, способ измерить их из собственного кода и то, какая мера какую цифру действительно сдвигает.

## Что такое TTFT, токены в секунду и полная задержка?

Руководство NVIDIA по бенчмаркингу даёт чёткие определения, и они совпадают с тем, что можно наблюдать на клиенте:

| Метрика | Что измеряет | Кто это ощущает | От чего зависит |
| --- | --- | --- | --- |
| [Время до первого токена](https://broadrouter.com/ru/glossary/time-to-first-token/) (TTFT) | Запрос отправлен → получен первый токен | Пользователи чата | Сеть, очереди, длина промпта (prefill), попадания в кэш |
| Задержка между токенами (ITL) | Средний интервал между токенами | Те, кто читает стримящийся ответ | Размер модели, оборудование, нагрузка на сервер |
| [Токены в секунду](https://broadrouter.com/ru/glossary/tokens-per-second/) на пользователя | Выходные токены после первого ÷ время генерации (от первого токена до последнего); равно 1 ÷ средний ITL | Читатели, агенты | То же, что ITL |
| Полная задержка (end-to-end) | Запрос отправлен → получен последний токен | Агенты, API, пакетные задания | TTFT + время генерации |

Формула, которая их связывает:

**полная задержка ≈ TTFT + (выходные токены − 1) × ITL ≈ TTFT + выходные токены ÷ токены в секунду на пользователя**

Скорость на пользователя — не то же самое, что [пропускная способность](https://broadrouter.com/ru/glossary/throughput/) сервера, то есть сколько токенов он выдаёт в сумме для всех пользователей; провайдер может повышать одно, пока другое падает.

Возьмём типичную скорость, которую BroadNet публикует для модели своих тарифов, — около 100 токенов в секунду. Время генерации растёт с длиной ответа: файл кода на 4 000 токенов генерируется примерно в восемьдесят раз дольше, чем классификация на 50 токенов, а TTFT у обоих одинаковый. Для коротких ответов большая часть ожидания — это TTFT; для длинных — скорость и длина.

## Зачем моделям с рассуждениями четвёртая цифра?

Модели с рассуждениями, такие как [DeepSeek V4.1 Flash](https://broadrouter.com/ru/models/deepseek-v4.1-flash/), думают перед ответом, и размышления — тоже выходные токены. Если модель тратит на рассуждения 800 токенов при скорости около 100 токенов в секунду, пользователь ждёт, пока сгенерируются все 800, прежде чем увидит первое слово, даже если TTFT в сети выглядит быстрым. Поэтому отдельно измеряйте **время до первого токена контента**. В BroadNet Inference `reasoning_effort: "low"` сокращает размышления на простых шагах; компромисс объясняется в [руководстве по рассуждениям](https://broadrouter.com/ru/guides/reasoning-tokens-empty-response/).

## Как измерить задержку на клиенте?

Замеряйте там, где находятся ваши пользователи, с включённым [стримингом](https://broadrouter.com/ru/glossary/streaming/). Серверные таймеры не учитывают сеть и прокси.

```python
import os, time, statistics
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def timed(model, messages, max_tokens=1500):
    t0 = time.perf_counter()
    first = first_content = None
    usage = None
    stream = client.chat.completions.create(
        model=model, messages=messages, max_tokens=max_tokens,
        stream=True, stream_options={"include_usage": True},
    )
    for chunk in stream:
        now = time.perf_counter()
        if chunk.choices:
            if first is None:
                first = now
            if chunk.choices[0].delta.content and first_content is None:
                first_content = now
        if chunk.usage:
            usage = chunk.usage
    end = time.perf_counter()
    out = usage.completion_tokens if usage else 0
    return {
        "ttft": first - t0,
        "ttfct": (first_content or end) - t0,
        "e2e": end - t0,
        "tps": (out - 1) / (end - first) if out > 1 and end > first else 0,
        "prompt_tokens": usage.prompt_tokens if usage else None,
    }

runs = [timed("broadnet/gemma-4-26b-a4b", [{"role": "user", "content": "Summarise SSE in 100 words."}]) for _ in range(50)]
for k in ("ttft", "ttfct", "e2e", "tps"):
    xs = sorted(r[k] for r in runs)
    print(k, "p50", round(statistics.median(xs), 3), "p95", round(xs[int(len(xs) * 0.95) - 1], 3))
```

Пять правил честного бенчмарка:

1.  **Зафиксируйте длину промпта** и указывайте её. TTFT при 500 токенах промпта и при 200 000 — разные цифры. [Счётчик токенов](https://broadrouter.com/tools/token-counter/) покажет длину тестового промпта ещё до отправки.
2.  **Зафиксируйте длину ответа** через `max_tokens` и промпт, который её заполняет, чтобы токены в секунду можно было сравнивать.
3.  **Указывайте p50 и p95**, а не среднее. Пользователи запоминают именно хвостовую задержку.
4.  **Распределяйте прогоны во времени.** Нагрузка меняется в течение дня.
5.  **Сначала прогрейте соединение.** Первый вызов платит за DNS, TLS и установку соединения; используйте один клиент повторно.

## Что на самом деле улучшает каждую цифру?

| Чтобы улучшить | Сделайте это | Почему |
| --- | --- | --- |
| TTFT | Сократите или кэшируйте префикс промпта | Время prefill растёт с длиной промпта; кэшированные префиксы пропускают часть работы |
| TTFT | Держите соединения тёплыми, используйте ближайший регион | Убирает установку соединения и лишние круговые задержки |
| Время до первого токена контента | Снизьте уровень рассуждений или используйте модель без рассуждений для простых шагов | Меньше скрытых размышлений перед ответом |
| Токены в секунду | Используйте для этого шага модель поменьше или побыстрее | Скорость декодирования зависит от размера модели и способа обслуживания |
| Полная задержка | Просите более короткий ответ (схемы, лимиты слов) | Длина ответа умножает ITL |
| Полная задержка для множества вызовов | Запускайте независимые вызовы параллельно в пределах лимита [параллельности](https://broadrouter.com/ru/glossary/concurrency/) | Реальное время падает, хотя каждый вызов остаётся прежним |
| Воспринимаемая задержка | Стримьте ответ пользователю | Он читает, пока модель пишет |

Длина ответа — самый недооценённый рычаг. Если просить «JSON с этими четырьмя полями» вместо «объясни свой ответ», время генерации может сократиться на порядок без какой-либо работы над инфраструктурой. Здесь помогает [структурированный вывод](https://broadrouter.com/ru/glossary/structured-output/).

Рычаг кэширования разобран в статье [структура промпта для кэширования](https://broadrouter.com/ru/blog/prompt-structure-for-caching/). Рычаг параллельности быстро упирается в лимиты запросов; см. [обработку ошибок 429](https://broadrouter.com/ru/blog/handle-llm-api-429-rate-limits/).

## Как длина промпта меняет баланс?

TTFT растёт вместе с промптом, потому что модель должна обработать каждый входной токен, прежде чем начать писать. Это скрытая цена очень длинных промптов и часть выбора [длинный контекст или RAG](https://broadrouter.com/ru/blog/long-context-vs-rag/): промпт на 1 млн токенов отвечает на вопросы, на которые RAG ответить не может, но стартует медленнее. Если важна интерактивная скорость, держите горячий путь коротким и отправляйте большой контекст только тогда, когда он нужен для вопроса.

## Какое место здесь занимает BroadNet Inference

BroadNet публикует типичную скорость около 100 токенов в секунду для модели своих тарифов и стримит в стандартном формате SSE, поэтому код выше работает без изменений. Цифр TTFT и SLA по задержке она не публикует, так что измерьте на своих промптах, прежде чем брать обязательства; [час Meteor](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-llm-latency-ttft-throughput&utm_content=body) за $1 хватит на бенчмарк из 50 прогонов, а стартовый кредит покрывает такой бенчмарк на Gemma 4 VL 26B. Если вам нужна гарантированная задержка меньше секунды в большом масштабе, тестируйте внимательно: ключ с оплатой по факту допускает 4 одновременных запросов, что больше подходит приложениям и агентам, чем высоконагруженному обслуживанию в реальном времени. Модели и их цены — на страницах [моделей](https://broadrouter.com/ru/models/) и [цен](https://broadrouter.com/ru/pricing/).

Бесплатные инструменты по теме (на английском)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Бесплатные инструменты (на английском)](https://broadrouter.com/tools/)

## Термины в этой статье

[Время до первого токена (TTFT)](https://broadrouter.com/ru/glossary/time-to-first-token/)

Время до первого токена (TTFT) — это время от отправки запроса языковой модели до прихода первого выходного токена. Оно включает сетевое время, очередь на сервере и prefill — этап, на котором модель читает весь промпт, поэтому растёт с длиной промпта и нагрузкой.

[Токен (token)](https://broadrouter.com/ru/glossary/token/)

Токен — это единица текста, которую языковая модель читает и пишет: слово, часть слова, знак препинания или последовательность байтов, которую выдаёт токенизатор модели. LLM API считают, ограничивают и обычно тарифицируют использование в токенах.

[Входные и выходные токены (input and output tokens)](https://broadrouter.com/ru/glossary/input-and-output-tokens/)

Входные токены — это токены, которые языковая модель читает в запросе: системный промпт, история диалога, описания инструментов и изображения. Выходные токены — это токены, которые она генерирует в ответ, включая рассуждения. LLM API обычно тарифицируют их по отдельности, и выход, как правило, дороже.

[Параллельность (concurrency)](https://broadrouter.com/ru/glossary/concurrency/)

Параллельность (concurrency) — это число запросов, которые клиент одновременно держит в работе. LLM API часто ограничивают её на ключ или тариф отдельно от лимита запросов в минуту, потому что каждый открытый запрос занимает мощности GPU, пока ответ не будет готов.

[Контекстное окно (context window)](https://broadrouter.com/ru/glossary/context-window/)

Контекстное окно — это максимальное число токенов, с которым языковая модель может работать в одном запросе. В него входят промпт, история диалога, описания инструментов, изображения и сгенерированный ответ, включая токены рассуждений. Всё, что не помещается, приходится обрезать, сжимать в краткое изложение или делить на несколько запросов.

[Пропускная способность (throughput)](https://broadrouter.com/ru/glossary/throughput/)

Пропускная способность (throughput) в обслуживании LLM — это общий объём работы, который система выполняет за единицу времени по всем параллельным запросам; обычно её измеряют в выходных токенах или запросах в секунду. Она отличается от скорости потока — того, как быстро токены получает отдельный запрос.

[Стриминг (streaming)](https://broadrouter.com/ru/glossary/streaming/)

Стриминг — это способ возвращать ответ языковой модели небольшими частями (чанками) прямо во время генерации, а не одним ответом в конце. OpenAI-совместимые API передают поток через server-sent events, если в запросе stream равен true.

[Prefill и decode (префилл и декодирование)](https://broadrouter.com/ru/glossary/prefill-and-decode/)

Prefill и decode — это две фазы инференса LLM. На этапе prefill модель параллельно обрабатывает весь промпт и заполняет KV-кэш; на этапе decode она генерирует ответ по одному токену, повторно используя этот кэш. Prefill в основном определяет время до первого токена, decode — скорость вывода.

## Вопросы и ответы

### Какое время до первого токена считается хорошим для LLM API?

Для чата отклик быстрее примерно одной секунды на коротких промптах ощущается как мгновенный. Длинные промпты и модели с рассуждениями по своей природе отвечают дольше. Сравнивайте TTFT только при одинаковой длине промпта и одной модели.

### Токены в секунду — это то же самое, что пропускная способность?

Не совсем. Токены в секунду на пользователя — это скорость, с которой стримится один ответ. Пропускная способность — сколько токенов сервер выдаёт в сумме для всех пользователей. Провайдер может повысить общую пропускную способность, а скорость для каждого пользователя при этом упадёт.

### Почему у модели с рассуждениями такой большой TTFT?

Перед видимым ответом модель генерирует скрытые токены рассуждений. Первый токен может прийти быстро, но первый токен контента ждёт, пока размышления не закончатся. Для простых задач снижайте reasoning\_effort.

### Снижает ли стриминг задержку?

Полное время ответа он не сокращает. Зато пользователь читает ответ, пока тот ещё пишется, поэтому воспринимаемая задержка падает примерно до TTFT.

### Сколько запросов нужно для надёжного бенчмарка задержки?

Столько, чтобы был виден хвост распределения. От пятидесяти до ста запросов на каждый размер промпта дают пригодный p95. Распределите их по дню: нагрузка меняется.

## Читайте также

-   [Стриминг LLM: чанки SSE, дельты, usage и отмена](https://broadrouter.com/ru/blog/llm-streaming-sse-explained/)
-   [Как структурировать промпты, чтобы префикс кэшировался](https://broadrouter.com/ru/blog/prompt-structure-for-caching/)
-   [Длинный контекст или RAG: когда 1 млн токенов заменяет векторную БД](https://broadrouter.com/ru/blog/long-context-vs-rag/)
-   [GPU-парк и подход к инференсу BroadNet — по описанию самой BroadNet](https://broadrouter.com/ru/blog/broadnet-gpu-fleet-and-serving/)
-   [Кэширование ответов LLM API: кэш точных совпадений на Python](https://broadrouter.com/ru/blog/cache-llm-responses-cut-cost/)
-   [Руководство: Стриминг chat completions и обрыв соединения](https://broadrouter.com/ru/guides/streaming-chat-completions/)
-   [Руководство: Почему рассуждающая модель возвращает пустой ответ](https://broadrouter.com/ru/guides/reasoning-tokens-empty-response/)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-llm-latency-ttft-throughput&utm_content=page-cta) ·

**Источники**

-   [Руководство NVIDIA NIM по бенчмаркингу, метрики задержки и пропускной способности LLM (дата обращения 2026-11-14)](https://docs.nvidia.com/nim/benchmarking/llm/metrics)
-   [Тарифы BroadNet Inference, типичная скорость (проверено 2026-11-15) (на английском)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-llm-latency-ttft-throughput&utm_content=sources)
-   [Справочник API BroadNet Inference, стриминг и рассуждения (проверено 2026-11-15) (на английском)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-llm-latency-ttft-throughput&utm_content=sources)
-   [Baseten Inference Engineering, измерение задержки и пропускной способности (проверено 2026-11-16)](https://www.baseten.co/inference-engineering/book/01-prerequisites/measuring-latency-and-throughput/)
