---
title: "Что такое задержка LLM? Полное время ответа модели | BroadRouter"
description: "Задержка LLM — время запроса от отправки промпта до последнего токена. Из чего она складывается (TTFT, задержка между токенами), перцентили и что на неё влияет."
url: https://broadrouter.com/ru/glossary/latency/
lang: ru
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/glossary/latency/) (обновлён 2026-11-16).

# Задержка (latency)

Обновлено 2026-11-16

Задержка (latency) в API языковой модели — это время от отправки запроса до получения последнего выходного токена. Она складывается из времени до первого токена и времени генерации и обычно указывается в перцентилях, например p50 и p95, а не как среднее.

Также называют: задержка LLM, время ответа, время отклика, сквозная задержка, задержка между токенами, latency, LLM latency, end-to-end latency, response time, e2e latency, inter-token latency

Задержку чувствуют пользователи. И именно она чаще всего удивляет команды, которые переходят от демо к продакшену.

## Как это работает

Руководство NVIDIA по метрикам даёт основную формулу для одного запроса:

```text
e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)
```

[Время до первого токена](https://broadrouter.com/ru/glossary/time-to-first-token/) включает сеть, очередь и чтение промпта. Время генерации — это всё, что идёт после первого токена: (выходные токены − 1) × задержка между токенами (ITL), а для длинного ответа — примерно выходные токены × ITL. По словам NVIDIA, сквозная задержка “includes queueing, batching, and network latency” (перевод: «включает очередь, пакетирование и сетевую задержку»).

Пример с круглыми числами: пусть модель выдаёт 50 выходных токенов в секунду. Ответ на 600 токенов генерируется 600 ÷ 50 = 12 секунд. Добавьте секунду TTFT — и запрос займёт около 13 секунд. Сократите ответ вдвое — сэкономите 6 секунд; сократите вдвое TTFT — сэкономите полсекунды. Здесь решает длина ответа.

В приложении запрос редко бывает один. Задержка на экране пользователя включает ещё повторы после ошибок, ожидание свободного слота по лимиту [параллельных запросов](https://broadrouter.com/ru/glossary/concurrency/), вызовы инструментов между шагами модели и ваш собственный код.

## Почему это важно

Руководство OpenAI по задержке называет семь принципов: быстрее обрабатывать токены, генерировать меньше токенов, использовать меньше входных токенов, делать меньше запросов, распараллеливать, сокращать ожидание для пользователей и не брать LLM по умолчанию. Большинство из них — решения в архитектуре, а не выбор провайдера.

Указывайте перцентили. p50 в 4 секунды при p95 в 30 секунд означает, что каждый двадцатый пользователь ждёт полминуты или дольше. Среднее этот хвост скрывает, а таймауты задаются именно по нему.

Задержка и [пропускная способность](https://broadrouter.com/ru/glossary/throughput/) тянут в разные стороны. NVIDIA отмечает, что с ростом числа одновременных запросов общее число токенов в секунду у системы растёт, а число токенов в секунду на одного пользователя падает. Загруженный провайдер может обслуживать больше людей и при этом казаться каждому медленнее.

## В BroadNet Inference

На странице тарифов BroadNet указана типичная скорость около 100 токенов в секунду. Цифр TTFT или задержки по перцентилям документация не публикует. Ключ с оплатой по факту допускает 4 одновременных запросов; среди причин HTTP 429 документация называет лимит параллельных запросов, а каждый повтор после такой ошибки добавляет задержку на вашей стороне. Для долгих запусков агентов задавайте таймауты и ограниченное число повторов; см. [таймауты и повторы для долгоиграющих агентов](https://broadrouter.com/ru/blog/long-running-agents-timeouts-retries/). Как измерить каждую составляющую на клиенте, описано в [руководстве по задержке LLM](https://broadrouter.com/ru/blog/llm-latency-ttft-throughput/).

## Вопросы и ответы

### Чем задержка отличается от пропускной способности?

Задержка — это сколько длится один запрос. Пропускная способность — сколько работы система выполняет в секунду по всем запросам. Сервер может повысить пропускную способность, объединяя в пакеты больше запросов, хотя каждый из них при этом замедляется.

### Что такое задержка между токенами?

Средний промежуток между выходными токенами после первого, его ещё называют временем на выходной токен. NVIDIA определяет её как сквозную задержку минус TTFT, делённую на число выходных токенов минус один.

### Как уменьшить задержку LLM?

Генерируйте меньше выходных токенов, отправляйте более короткие промпты, используйте стриминг, чтобы пользователи раньше видели текст, и запускайте независимые вызовы параллельно. Руководство OpenAI по задержке называет это среди своих семи принципов.

## См. также

-   [Время до первого токена (TTFT)](https://broadrouter.com/ru/glossary/time-to-first-token/) (термин)
-   [Пропускная способность (throughput)](https://broadrouter.com/ru/glossary/throughput/) (термин)
-   [Токены в секунду (tokens per second, TPS)](https://broadrouter.com/ru/glossary/tokens-per-second/) (термин)
-   [Параллельность (concurrency)](https://broadrouter.com/ru/glossary/concurrency/) (термин)
-   [Лимит запросов (rate limit)](https://broadrouter.com/ru/glossary/rate-limit/) (термин)
-   [Стриминг chat completions и обрыв соединения](https://broadrouter.com/ru/guides/streaming-chat-completions/) (руководство)
-   [Коды ошибок BroadNet Inference и когда повторять запрос](https://broadrouter.com/ru/guides/errors-and-retries/) (руководство)
-   [Задержка LLM: TTFT, токены в секунду и полное время ответа](https://broadrouter.com/ru/blog/llm-latency-ttft-throughput/) (статья)
-   [Долгоживущие ИИ-агенты: таймауты, повторы и чекпойнты](https://broadrouter.com/ru/blog/long-running-agents-timeouts-retries/) (статья)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-latency&utm_content=page-cta) ·

**Источники**

-   [NVIDIA NIM, метрики бенчмаркинга LLM (сквозная задержка, задержка между токенами)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [OpenAI, руководство по снижению задержки (семь принципов)](https://developers.openai.com/api/docs/guides/latency-optimization)
-   [Тарифы BroadNet Inference (типичная скорость) (на английском)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-latency&utm_content=sources)
