BroadRouter

Задержка LLM: TTFT, токены в секунду и полное время ответа

Команда BroadNet Inference · 4 мин чтения · Опубликовано · Обновлено

Время до первого токена (TTFT) — ожидание до первого выходного токена. Токены в секунду — скорость, с которой затем стримится ответ. Полная задержка — итог: TTFT плюс время генерации, то есть примерно число выходных токенов, делённое на скорость на пользователя. На TTFT влияют длина промпта и очереди, на скорость — размер модели и нагрузка, на итог — длина ответа. Измеряйте все три по p50 и p95.

«API тормозит» может означать три разные вещи, и у каждой своё решение. Пользователь чата ждёт первого слова. Агент ждёт весь вызов инструмента целиком. Пакетному заданию важны токены в час. В этой статье — определения трёх цифр, способ измерить их из собственного кода и то, какая мера какую цифру действительно сдвигает.

Что такое TTFT, токены в секунду и полная задержка?

Руководство NVIDIA по бенчмаркингу даёт чёткие определения, и они совпадают с тем, что можно наблюдать на клиенте:

Метрика Что измеряет Кто это ощущает От чего зависит
Время до первого токена (TTFT) Запрос отправлен → получен первый токен Пользователи чата Сеть, очереди, длина промпта (prefill), попадания в кэш
Задержка между токенами (ITL) Средний интервал между токенами Те, кто читает стримящийся ответ Размер модели, оборудование, нагрузка на сервер
Токены в секунду на пользователя Выходные токены после первого ÷ время генерации (от первого токена до последнего); равно 1 ÷ средний ITL Читатели, агенты То же, что ITL
Полная задержка (end-to-end) Запрос отправлен → получен последний токен Агенты, API, пакетные задания TTFT + время генерации

Формула, которая их связывает:

полная задержка ≈ TTFT + (выходные токены − 1) × ITL ≈ TTFT + выходные токены ÷ токены в секунду на пользователя

Скорость на пользователя — не то же самое, что пропускная способность сервера, то есть сколько токенов он выдаёт в сумме для всех пользователей; провайдер может повышать одно, пока другое падает.

Возьмём типичную скорость, которую BroadNet публикует для модели своих тарифов, — около 100 токенов в секунду. Время генерации растёт с длиной ответа: файл кода на 4 000 токенов генерируется примерно в восемьдесят раз дольше, чем классификация на 50 токенов, а TTFT у обоих одинаковый. Для коротких ответов большая часть ожидания — это TTFT; для длинных — скорость и длина.

Зачем моделям с рассуждениями четвёртая цифра?

Модели с рассуждениями, такие как DeepSeek V4.1 Flash, думают перед ответом, и размышления — тоже выходные токены. Если модель тратит на рассуждения 800 токенов при скорости около 100 токенов в секунду, пользователь ждёт, пока сгенерируются все 800, прежде чем увидит первое слово, даже если TTFT в сети выглядит быстрым. Поэтому отдельно измеряйте время до первого токена контента. В BroadNet Inference reasoning_effort: "low" сокращает размышления на простых шагах; компромисс объясняется в руководстве по рассуждениям.

Как измерить задержку на клиенте?

Замеряйте там, где находятся ваши пользователи, с включённым стримингом. Серверные таймеры не учитывают сеть и прокси.

import os, time, statistics
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def timed(model, messages, max_tokens=1500):
    t0 = time.perf_counter()
    first = first_content = None
    usage = None
    stream = client.chat.completions.create(
        model=model, messages=messages, max_tokens=max_tokens,
        stream=True, stream_options={"include_usage": True},
    )
    for chunk in stream:
        now = time.perf_counter()
        if chunk.choices:
            if first is None:
                first = now
            if chunk.choices[0].delta.content and first_content is None:
                first_content = now
        if chunk.usage:
            usage = chunk.usage
    end = time.perf_counter()
    out = usage.completion_tokens if usage else 0
    return {
        "ttft": first - t0,
        "ttfct": (first_content or end) - t0,
        "e2e": end - t0,
        "tps": (out - 1) / (end - first) if out > 1 and end > first else 0,
        "prompt_tokens": usage.prompt_tokens if usage else None,
    }

runs = [timed("broadnet/gemma-4-26b-a4b", [{"role": "user", "content": "Summarise SSE in 100 words."}]) for _ in range(50)]
for k in ("ttft", "ttfct", "e2e", "tps"):
    xs = sorted(r[k] for r in runs)
    print(k, "p50", round(statistics.median(xs), 3), "p95", round(xs[int(len(xs) * 0.95) - 1], 3))

Пять правил честного бенчмарка:

  1. Зафиксируйте длину промпта и указывайте её. TTFT при 500 токенах промпта и при 200 000 — разные цифры. Счётчик токенов покажет длину тестового промпта ещё до отправки.
  2. Зафиксируйте длину ответа через max_tokens и промпт, который её заполняет, чтобы токены в секунду можно было сравнивать.
  3. Указывайте p50 и p95, а не среднее. Пользователи запоминают именно хвостовую задержку.
  4. Распределяйте прогоны во времени. Нагрузка меняется в течение дня.
  5. Сначала прогрейте соединение. Первый вызов платит за DNS, TLS и установку соединения; используйте один клиент повторно.

Что на самом деле улучшает каждую цифру?

Чтобы улучшить Сделайте это Почему
TTFT Сократите или кэшируйте префикс промпта Время prefill растёт с длиной промпта; кэшированные префиксы пропускают часть работы
TTFT Держите соединения тёплыми, используйте ближайший регион Убирает установку соединения и лишние круговые задержки
Время до первого токена контента Снизьте уровень рассуждений или используйте модель без рассуждений для простых шагов Меньше скрытых размышлений перед ответом
Токены в секунду Используйте для этого шага модель поменьше или побыстрее Скорость декодирования зависит от размера модели и способа обслуживания
Полная задержка Просите более короткий ответ (схемы, лимиты слов) Длина ответа умножает ITL
Полная задержка для множества вызовов Запускайте независимые вызовы параллельно в пределах лимита параллельности Реальное время падает, хотя каждый вызов остаётся прежним
Воспринимаемая задержка Стримьте ответ пользователю Он читает, пока модель пишет

Длина ответа — самый недооценённый рычаг. Если просить «JSON с этими четырьмя полями» вместо «объясни свой ответ», время генерации может сократиться на порядок без какой-либо работы над инфраструктурой. Здесь помогает структурированный вывод.

Рычаг кэширования разобран в статье структура промпта для кэширования. Рычаг параллельности быстро упирается в лимиты запросов; см. обработку ошибок 429.

Как длина промпта меняет баланс?

TTFT растёт вместе с промптом, потому что модель должна обработать каждый входной токен, прежде чем начать писать. Это скрытая цена очень длинных промптов и часть выбора длинный контекст или RAG: промпт на 1 млн токенов отвечает на вопросы, на которые RAG ответить не может, но стартует медленнее. Если важна интерактивная скорость, держите горячий путь коротким и отправляйте большой контекст только тогда, когда он нужен для вопроса.

Какое место здесь занимает BroadNet Inference

BroadNet публикует типичную скорость около 100 токенов в секунду для модели своих тарифов и стримит в стандартном формате SSE, поэтому код выше работает без изменений. Цифр TTFT и SLA по задержке она не публикует, так что измерьте на своих промптах, прежде чем брать обязательства; час Meteor за $1 хватит на бенчмарк из 50 прогонов, а стартовый кредит покрывает такой бенчмарк на Gemma 4 VL 26B. Если вам нужна гарантированная задержка меньше секунды в большом масштабе, тестируйте внимательно: ключ с оплатой по факту допускает 4 одновременных запросов, что больше подходит приложениям и агентам, чем высоконагруженному обслуживанию в реальном времени. Модели и их цены — на страницах моделей и цен.

Вопросы и ответы

Какое время до первого токена считается хорошим для LLM API?

Для чата отклик быстрее примерно одной секунды на коротких промптах ощущается как мгновенный. Длинные промпты и модели с рассуждениями по своей природе отвечают дольше. Сравнивайте TTFT только при одинаковой длине промпта и одной модели.

Токены в секунду — это то же самое, что пропускная способность?

Не совсем. Токены в секунду на пользователя — это скорость, с которой стримится один ответ. Пропускная способность — сколько токенов сервер выдаёт в сумме для всех пользователей. Провайдер может повысить общую пропускную способность, а скорость для каждого пользователя при этом упадёт.

Почему у модели с рассуждениями такой большой TTFT?

Перед видимым ответом модель генерирует скрытые токены рассуждений. Первый токен может прийти быстро, но первый токен контента ждёт, пока размышления не закончатся. Для простых задач снижайте reasoning_effort.

Снижает ли стриминг задержку?

Полное время ответа он не сокращает. Зато пользователь читает ответ, пока тот ещё пишется, поэтому воспринимаемая задержка падает примерно до TTFT.

Сколько запросов нужно для надёжного бенчмарка задержки?

Столько, чтобы был виден хвост распределения. От пятидесяти до ста запросов на каждый размер промпта дают пригодный p95. Распределите их по дню: нагрузка меняется.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity