Serverless no significa que no haya servidores. Significa que usted nunca los ve y que deja de pagar cuando deja de enviar solicitudes.
Cómo funciona
La guía de SageMaker de AWS ofrece una versión de referencia clara. Los endpoints serverless “automatically launch compute resources and scale them in and out depending on traffic” (traducción: lanzan recursos de cómputo automáticamente y los escalan según el tráfico), y cuando no hay solicitudes el servicio “scales your endpoint down to 0” (traducción: reduce su endpoint a 0). Se paga por uso, no por instancia.
El costo de escalar a cero es el arranque en frío. Si un endpoint ha estado inactivo y llega una solicitud, “it can take some time for your endpoint to spin up the compute resources” (traducción: su endpoint puede tardar un tiempo en levantar los recursos de cómputo). En los modelos de lenguaje grandes, cargar decenas de gigabytes de pesos alarga ese retraso. La solución habitual es pagar para mantener cierta capacidad lista; AWS lo llama provisioned concurrency y lo factura por memoria, duración y concurrencia.
Las funciones varían según la plataforma. La propia lista de exclusiones de AWS para SageMaker Serverless Inference incluye las GPU, así que el hosting serverless para modelos del tamaño de un LLM suele venir de otras plataformas. Hugging Face describe sus Inference Providers como una forma de usar “serverless inference of models” (traducción: inferencia serverless de modelos) en varios proveedores con un solo token.
Por qué importa
| Endpoint serverless | GPU alquilada (hora de GPU) | API compartida por token | |
|---|---|---|---|
| Paga en inactividad | No (salvo que la mantenga lista) | Sí | No |
| Arranques en frío | Posibles | No, una vez en marcha | Raros en los modelos listados |
| Su propio modelo | Sí | Sí | Solo lo que lista el proveedor |
| Trabajo de escalado | Plataforma | Usted | Proveedor |
Serverless conviene para tráfico irregular o bajo con su propio modelo. Una carga alta y constante suele costar menos en hardware reservado. Los arranques en frío aparecen como una cola larga de latencia, no en el promedio, así que revise el p95.
En BroadNet Inference
BroadNet no describe su API como serverless, y su documentación no dice nada sobre arranques en frío. En la práctica, sus claves de pago por uso comparten los rasgos serverless que le importan a quien llama: ninguna instancia que elegir, nada que escalar y facturación por token o por minuto de audio. Los límites son por clave, 30 solicitudes por minuto y 4 en curso, no por máquina. Solo puede llamar a los modelos que BroadNet lista, como Qwen3.8 27B; los endpoints privados y otros modelos están disponibles bajo solicitud. Probar una primera solicitud con curl toma un minuto.