BroadRouter
Начать

Бессерверный инференс (serverless inference)

Обновлено

Бессерверный инференс — это способ запуска моделей машинного обучения, при котором платформа сама запускает, масштабирует и останавливает вычислительные ресурсы за эндпоинтом, часто до нуля в простое, и берёт плату за использование, а не за зарезервированные машины. Обратная сторона — возможная задержка холодного старта.

Также называют: бессерверный инференс, serverless-инференс, serverless LLM, бессерверный GPU, масштабирование до нуля, холодный старт, serverless model endpoint, scale to zero, serverless GPU inference

Serverless не значит, что серверов нет. Это значит, что вы их не видите и перестаёте платить, когда перестаёте отправлять запросы.

Как это работает

Наглядный эталон даёт руководство AWS SageMaker. Бессерверные эндпоинты “automatically launch compute resources and scale them in and out depending on traffic” (перевод: «автоматически запускают вычислительные ресурсы и масштабируют их вверх и вниз в зависимости от трафика»), а когда запросов нет, сервис “scales your endpoint down to 0” (перевод: «масштабирует ваш эндпоинт до 0»). Вы платите за использование, а не за инстанс.

Цена масштабирования до нуля — холодный старт. Если эндпоинт простаивал и приходит запрос, “it can take some time for your endpoint to spin up the compute resources” (перевод: «эндпоинту может понадобиться время, чтобы поднять вычислительные ресурсы»). У больших языковых моделей загрузка десятков гигабайт весов делает эту задержку ещё больше. Обычное решение — платить за то, чтобы часть мощностей оставалась «прогретой»; в AWS это называется provisioned concurrency и тарифицируется по памяти, длительности и числу параллельных запросов.

Возможности зависят от платформы. В собственном списке ограничений SageMaker Serverless Inference AWS указывает GPU, поэтому бессерверный хостинг LLM-масштаба обычно предлагают другие платформы. Hugging Face описывает свои Inference Providers как способ получить “serverless inference of models” (перевод: «бессерверный инференс моделей») у нескольких провайдеров с одним токеном.

Почему это важно

Бессерверный эндпоинт Арендованный GPU (GPU-час) Общий API с оплатой за токены
Оплата в простое Нет (если не держать «прогретым») Да Нет
Холодный старт Возможен Нет, после запуска Редко для моделей из каталога
Своя модель Да Да Только то, что есть у провайдера
Кто масштабирует Платформа Вы Провайдер

Serverless подходит для пикового или небольшого трафика со своей моделью. Стабильная высокая нагрузка обычно дешевле на зарезервированном железе. Холодные старты проявляются в длинном хвосте задержки, а не в среднем значении, поэтому смотрите p95.

В BroadNet Inference

BroadNet не называет свой API бессерверным, и в её документации ничего не сказано о холодных стартах. На практике ключи с оплатой по факту обладают теми свойствами serverless, которые важны клиенту: не нужно выбирать инстанс, ничего не нужно масштабировать, а оплата идёт за токены или за минуту аудио. Лимиты задаются на ключ, а не на машину: 30 запросов в минуту и 4 одновременно. Вызывать можно только модели из каталога BroadNet, например Qwen3.8 27B; приватные эндпоинты и другие модели — по запросу. Чтобы попробовать, хватит минуты: см. первый запрос через curl.

Вопросы и ответы

Что такое холодный старт в бессерверном инференсе?

Это задержка, когда эндпоинт, масштабированный вниз, получает запрос и сначала должен запустить вычисления и загрузить модель. Документация AWS SageMaker описывает её и предлагает за плату provisioned concurrency, чтобы держать мощности «прогретыми».

LLM API с оплатой за токены — это serverless?

Со стороны клиента — в основном да. Вы отправляете запросы, платите за токены и не управляете серверами. Разница в том, что общий API держит популярные модели загруженными для многих клиентов, поэтому ждать запуска своей модели обычно не приходится.

Бессерверный инференс дешевле выделенного GPU?

При пиковом или небольшом трафике обычно да, потому что в простое вы не платите. При стабильной высокой нагрузке зарезервированный GPU часто дешевле в расчёте на запрос. Сравните свой профиль трафика с обеими ценами.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity