BroadRouter
Começar

Inferência serverless (serverless inference)

Atualizado em

Inferência serverless é uma forma de rodar modelos de machine learning em que a plataforma inicia, escala e desliga automaticamente a computação por trás de um endpoint, muitas vezes até zero quando ocioso, e cobra pelo uso em vez de máquinas reservadas. A contrapartida é um possível atraso de cold start.

Também chamado de: inferência serverless, LLM serverless, endpoint serverless, escalar a zero, GPU serverless, serverless inference, serverless LLM, serverless model endpoint, scale to zero, serverless GPU inference

Serverless não quer dizer que não existem servidores. Quer dizer que você nunca os vê e para de pagar quando para de enviar requisições.

Como funciona

O guia do SageMaker da AWS traz uma versão de referência clara. Endpoints serverless “automatically launch compute resources and scale them in and out depending on traffic” (tradução: iniciam automaticamente recursos de computação e os escalam conforme o tráfego), e, quando não há requisições, o serviço “scales your endpoint down to 0” (tradução: reduz o seu endpoint a 0). Você paga pelo uso, não por instância.

O preço de escalar a zero é o cold start. Se um endpoint ficou ocioso e chega uma requisição, “it can take some time for your endpoint to spin up the compute resources” (tradução: pode levar algum tempo para o seu endpoint subir os recursos de computação). Em modelos de linguagem grandes, carregar dezenas de gigabytes de pesos aumenta esse atraso. A solução de sempre é pagar para manter parte da capacidade aquecida; a AWS chama isso de provisioned concurrency e cobra por memória, duração e concorrência.

Os recursos variam entre plataformas. A lista de exclusões da própria AWS para o SageMaker Serverless Inference inclui GPUs, então hospedagem serverless do tamanho de um LLM costuma vir de outras plataformas. A Hugging Face descreve os seus Inference Providers como uma forma de usar “serverless inference of models” (tradução: inferência serverless de modelos) em vários provedores com um único token.

Por que isso importa

Endpoint serverless GPU alugada (hora de GPU) API compartilhada por token
Paga quando ocioso Não (a menos que mantenha aquecido) Sim Não
Cold starts Possíveis Não, depois de ligada Raros nos modelos listados
Seu próprio modelo Sim Sim Só o que o provedor lista
Quem cuida da escala A plataforma Você O provedor

Serverless combina com tráfego baixo ou com picos e um modelo próprio. Uma carga pesada e constante costuma sair mais barata em hardware reservado. Cold starts aparecem na cauda longa da latência, não na média, então confira o p95.

Na BroadNet Inference

A BroadNet não descreve a sua API como serverless, e a documentação não diz nada sobre cold starts. Na prática, as chaves de pagamento por uso têm as características serverless que importam para quem chama: nenhuma instância para escolher, nada para escalar e cobrança por token ou por minuto de áudio. Os limites são por chave, 30 requisições por minuto e 4 em andamento, e não por máquina. Você só pode chamar os modelos que a BroadNet lista, como o Qwen3.8 27B; endpoints privados e outros modelos estão disponíveis sob consulta. Uma primeira requisição com curl leva um minuto para testar.

Perguntas frequentes

O que é cold start na inferência serverless?

É o atraso quando um endpoint que foi reduzido recebe uma requisição e precisa primeiro iniciar a computação e carregar o modelo. A documentação do SageMaker da AWS descreve isso e oferece provisioned concurrency para manter capacidade aquecida, mediante pagamento.

Uma API de LLM cobrada por token é serverless?

Do lado de quem chama, em grande parte sim. Você envia requisições, paga por token e não gerencia servidores. A diferença é que uma API compartilhada mantém os modelos populares carregados para muitos clientes, então em geral você não espera um modelo seu iniciar.

Inferência serverless sai mais barata que uma GPU dedicada?

Para tráfego baixo ou com picos, geralmente sim, porque você para de pagar quando está ocioso. Para carga pesada e constante, uma GPU reservada costuma custar menos por requisição. Compare o seu padrão de tráfego com os dois preços.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity