Serverless não quer dizer que não existem servidores. Quer dizer que você nunca os vê e para de pagar quando para de enviar requisições.
Como funciona
O guia do SageMaker da AWS traz uma versão de referência clara. Endpoints serverless “automatically launch compute resources and scale them in and out depending on traffic” (tradução: iniciam automaticamente recursos de computação e os escalam conforme o tráfego), e, quando não há requisições, o serviço “scales your endpoint down to 0” (tradução: reduz o seu endpoint a 0). Você paga pelo uso, não por instância.
O preço de escalar a zero é o cold start. Se um endpoint ficou ocioso e chega uma requisição, “it can take some time for your endpoint to spin up the compute resources” (tradução: pode levar algum tempo para o seu endpoint subir os recursos de computação). Em modelos de linguagem grandes, carregar dezenas de gigabytes de pesos aumenta esse atraso. A solução de sempre é pagar para manter parte da capacidade aquecida; a AWS chama isso de provisioned concurrency e cobra por memória, duração e concorrência.
Os recursos variam entre plataformas. A lista de exclusões da própria AWS para o SageMaker Serverless Inference inclui GPUs, então hospedagem serverless do tamanho de um LLM costuma vir de outras plataformas. A Hugging Face descreve os seus Inference Providers como uma forma de usar “serverless inference of models” (tradução: inferência serverless de modelos) em vários provedores com um único token.
Por que isso importa
| Endpoint serverless | GPU alugada (hora de GPU) | API compartilhada por token | |
|---|---|---|---|
| Paga quando ocioso | Não (a menos que mantenha aquecido) | Sim | Não |
| Cold starts | Possíveis | Não, depois de ligada | Raros nos modelos listados |
| Seu próprio modelo | Sim | Sim | Só o que o provedor lista |
| Quem cuida da escala | A plataforma | Você | O provedor |
Serverless combina com tráfego baixo ou com picos e um modelo próprio. Uma carga pesada e constante costuma sair mais barata em hardware reservado. Cold starts aparecem na cauda longa da latência, não na média, então confira o p95.
Na BroadNet Inference
A BroadNet não descreve a sua API como serverless, e a documentação não diz nada sobre cold starts. Na prática, as chaves de pagamento por uso têm as características serverless que importam para quem chama: nenhuma instância para escolher, nada para escalar e cobrança por token ou por minuto de áudio. Os limites são por chave, 30 requisições por minuto e 4 em andamento, e não por máquina. Você só pode chamar os modelos que a BroadNet lista, como o Qwen3.8 27B; endpoints privados e outros modelos estão disponíveis sob consulta. Uma primeira requisição com curl leva um minuto para testar.