Serverless не значит, что серверов нет. Это значит, что вы их не видите и перестаёте платить, когда перестаёте отправлять запросы.
Как это работает
Наглядный эталон даёт руководство AWS SageMaker. Бессерверные эндпоинты “automatically launch compute resources and scale them in and out depending on traffic” (перевод: «автоматически запускают вычислительные ресурсы и масштабируют их вверх и вниз в зависимости от трафика»), а когда запросов нет, сервис “scales your endpoint down to 0” (перевод: «масштабирует ваш эндпоинт до 0»). Вы платите за использование, а не за инстанс.
Цена масштабирования до нуля — холодный старт. Если эндпоинт простаивал и приходит запрос, “it can take some time for your endpoint to spin up the compute resources” (перевод: «эндпоинту может понадобиться время, чтобы поднять вычислительные ресурсы»). У больших языковых моделей загрузка десятков гигабайт весов делает эту задержку ещё больше. Обычное решение — платить за то, чтобы часть мощностей оставалась «прогретой»; в AWS это называется provisioned concurrency и тарифицируется по памяти, длительности и числу параллельных запросов.
Возможности зависят от платформы. В собственном списке ограничений SageMaker Serverless Inference AWS указывает GPU, поэтому бессерверный хостинг LLM-масштаба обычно предлагают другие платформы. Hugging Face описывает свои Inference Providers как способ получить “serverless inference of models” (перевод: «бессерверный инференс моделей») у нескольких провайдеров с одним токеном.
Почему это важно
| Бессерверный эндпоинт | Арендованный GPU (GPU-час) | Общий API с оплатой за токены | |
|---|---|---|---|
| Оплата в простое | Нет (если не держать «прогретым») | Да | Нет |
| Холодный старт | Возможен | Нет, после запуска | Редко для моделей из каталога |
| Своя модель | Да | Да | Только то, что есть у провайдера |
| Кто масштабирует | Платформа | Вы | Провайдер |
Serverless подходит для пикового или небольшого трафика со своей моделью. Стабильная высокая нагрузка обычно дешевле на зарезервированном железе. Холодные старты проявляются в длинном хвосте задержки, а не в среднем значении, поэтому смотрите p95.
В BroadNet Inference
BroadNet не называет свой API бессерверным, и в её документации ничего не сказано о холодных стартах. На практике ключи с оплатой по факту обладают теми свойствами serverless, которые важны клиенту: не нужно выбирать инстанс, ничего не нужно масштабировать, а оплата идёт за токены или за минуту аудио. Лимиты задаются на ключ, а не на машину: 30 запросов в минуту и 4 одновременно. Вызывать можно только модели из каталога BroadNet, например Qwen3.8 27B; приватные эндпоинты и другие модели — по запросу. Чтобы попробовать, хватит минуты: см. первый запрос через curl.