BroadRouter
Comenzar

Inferencia serverless (serverless inference)

Actualizado

La inferencia serverless es una forma de ejecutar modelos de machine learning en la que la plataforma inicia, escala y detiene automáticamente el cómputo detrás de un endpoint, a menudo hasta cero cuando está inactivo, y cobra por uso en lugar de por máquinas reservadas. La contrapartida es un posible retraso por arranque en frío.

También llamado: inferencia sin servidor, serverless, endpoint serverless, escalar a cero, serverless LLM, serverless model endpoint, scale to zero, serverless GPU inference

Serverless no significa que no haya servidores. Significa que usted nunca los ve y que deja de pagar cuando deja de enviar solicitudes.

Cómo funciona

La guía de SageMaker de AWS ofrece una versión de referencia clara. Los endpoints serverless “automatically launch compute resources and scale them in and out depending on traffic” (traducción: lanzan recursos de cómputo automáticamente y los escalan según el tráfico), y cuando no hay solicitudes el servicio “scales your endpoint down to 0” (traducción: reduce su endpoint a 0). Se paga por uso, no por instancia.

El costo de escalar a cero es el arranque en frío. Si un endpoint ha estado inactivo y llega una solicitud, “it can take some time for your endpoint to spin up the compute resources” (traducción: su endpoint puede tardar un tiempo en levantar los recursos de cómputo). En los modelos de lenguaje grandes, cargar decenas de gigabytes de pesos alarga ese retraso. La solución habitual es pagar para mantener cierta capacidad lista; AWS lo llama provisioned concurrency y lo factura por memoria, duración y concurrencia.

Las funciones varían según la plataforma. La propia lista de exclusiones de AWS para SageMaker Serverless Inference incluye las GPU, así que el hosting serverless para modelos del tamaño de un LLM suele venir de otras plataformas. Hugging Face describe sus Inference Providers como una forma de usar “serverless inference of models” (traducción: inferencia serverless de modelos) en varios proveedores con un solo token.

Por qué importa

Endpoint serverless GPU alquilada (hora de GPU) API compartida por token
Paga en inactividad No (salvo que la mantenga lista) Sí No
Arranques en frío Posibles No, una vez en marcha Raros en los modelos listados
Su propio modelo Sí Sí Solo lo que lista el proveedor
Trabajo de escalado Plataforma Usted Proveedor

Serverless conviene para tráfico irregular o bajo con su propio modelo. Una carga alta y constante suele costar menos en hardware reservado. Los arranques en frío aparecen como una cola larga de latencia, no en el promedio, así que revise el p95.

En BroadNet Inference

BroadNet no describe su API como serverless, y su documentación no dice nada sobre arranques en frío. En la práctica, sus claves de pago por uso comparten los rasgos serverless que le importan a quien llama: ninguna instancia que elegir, nada que escalar y facturación por token o por minuto de audio. Los límites son por clave, 30 solicitudes por minuto y 4 en curso, no por máquina. Solo puede llamar a los modelos que BroadNet lista, como Qwen3.8 27B; los endpoints privados y otros modelos están disponibles bajo solicitud. Probar una primera solicitud con curl toma un minuto.

Preguntas frecuentes

¿Qué es un arranque en frío en la inferencia serverless?

Es el retraso que se produce cuando un endpoint que se ha reducido recibe una solicitud y primero debe iniciar el cómputo y cargar el modelo. La documentación de SageMaker de AWS lo describe y ofrece provisioned concurrency para mantener capacidad lista a cambio de un cargo.

¿Una API de LLM que cobra por token es serverless?

Desde el lado de quien la llama, en gran medida sí. Usted envía solicitudes, paga por token y no administra servidores. La diferencia es que una API compartida mantiene cargados los modelos populares para muchos clientes, así que normalmente no espera a que arranque su propio modelo.

¿La inferencia serverless es más barata que una GPU dedicada?

Con tráfico irregular o bajo, normalmente sí, porque deja de pagar cuando no hay actividad. Con carga alta y constante, una GPU reservada suele costar menos por solicitud. Compare su patrón de tráfico con ambos precios.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity