Задержку чувствуют пользователи. И именно она чаще всего удивляет команды, которые переходят от демо к продакшену.
Как это работает
Руководство NVIDIA по метрикам даёт основную формулу для одного запроса:
e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)
Время до первого токена включает сеть, очередь и чтение промпта. Время генерации — это всё, что идёт после первого токена: (выходные токены − 1) × задержка между токенами (ITL), а для длинного ответа — примерно выходные токены × ITL. По словам NVIDIA, сквозная задержка “includes queueing, batching, and network latency” (перевод: «включает очередь, пакетирование и сетевую задержку»).
Пример с круглыми числами: пусть модель выдаёт 50 выходных токенов в секунду. Ответ на 600 токенов генерируется 600 ÷ 50 = 12 секунд. Добавьте секунду TTFT — и запрос займёт около 13 секунд. Сократите ответ вдвое — сэкономите 6 секунд; сократите вдвое TTFT — сэкономите полсекунды. Здесь решает длина ответа.
В приложении запрос редко бывает один. Задержка на экране пользователя включает ещё повторы после ошибок, ожидание свободного слота по лимиту параллельных запросов, вызовы инструментов между шагами модели и ваш собственный код.
Почему это важно
Руководство OpenAI по задержке называет семь принципов: быстрее обрабатывать токены, генерировать меньше токенов, использовать меньше входных токенов, делать меньше запросов, распараллеливать, сокращать ожидание для пользователей и не брать LLM по умолчанию. Большинство из них — решения в архитектуре, а не выбор провайдера.
Указывайте перцентили. p50 в 4 секунды при p95 в 30 секунд означает, что каждый двадцатый пользователь ждёт полминуты или дольше. Среднее этот хвост скрывает, а таймауты задаются именно по нему.
Задержка и пропускная способность тянут в разные стороны. NVIDIA отмечает, что с ростом числа одновременных запросов общее число токенов в секунду у системы растёт, а число токенов в секунду на одного пользователя падает. Загруженный провайдер может обслуживать больше людей и при этом казаться каждому медленнее.
В BroadNet Inference
На странице тарифов BroadNet указана типичная скорость около 100 токенов в секунду. Цифр TTFT или задержки по перцентилям документация не публикует. Ключ с оплатой по факту допускает 4 одновременных запросов; среди причин HTTP 429 документация называет лимит параллельных запросов, а каждый повтор после такой ошибки добавляет задержку на вашей стороне. Для долгих запусков агентов задавайте таймауты и ограниченное число повторов; см. таймауты и повторы для долгоиграющих агентов. Как измерить каждую составляющую на клиенте, описано в руководстве по задержке LLM.