Serverless 并不是没有服务器,而是你看不到它们,而且停止发送请求时就停止付费。
工作原理
AWS 的 SageMaker 指南给出了一个清晰的参考版本。Serverless 端点 “automatically launch compute resources and scale them in and out depending on traffic”(译文:自动启动计算资源,并根据流量扩缩容),没有请求时,服务会 “scales your endpoint down to 0”(译文:把你的端点缩到 0)。你按使用量付费,而不是按实例付费。
缩到零的代价是冷启动。如果端点一直空闲,此时来了一个请求,“it can take some time for your endpoint to spin up the compute resources”(译文:端点可能需要一些时间来启动计算资源)。对大语言模型来说,加载几十 GB 的权重会让这段延迟更长。常见的办法是付费保持一部分容量预热;AWS 称之为预置并发(provisioned concurrency),按内存、时长和并发量计费。
各平台的功能不尽相同。AWS 列出的 SageMaker Serverless Inference 不支持项中就包括 GPU,所以大模型规模的 Serverless 托管通常来自其他平台。Hugging Face 把它的 Inference Providers 描述为一种只用一个访问令牌(token)就能在多家服务商上使用 “serverless inference of models”(译文:模型的 Serverless 推理)的方式。
为什么重要
| Serverless 端点 | 租用 GPU(GPU 小时) | 共享的按 token 计费 API | |
|---|---|---|---|
| 空闲时付费 | 否(除非保持预热) | 是 | 否 |
| 冷启动 | 可能有 | 运行后没有 | 列出的模型很少有 |
| 自己的模型 | 可以 | 可以 | 只能用服务商列出的 |
| 谁负责扩缩容 | 平台 | 你 | 服务商 |
Serverless 适合用自己的模型、流量有尖峰或很低的场景。稳定的重负载通常在预留硬件上更便宜。冷启动表现为延迟的长尾,而不会体现在平均值里,所以要看 p95。
在 BroadNet Inference 上
BroadNet 并没有把自己的 API 称为 Serverless,文档里也没有提到冷启动。实际上,它的按量付费密钥具备对调用方最重要的那些 Serverless 特性:不用选实例,不用管扩缩容,按 token 或按音频分钟计费。限制按密钥而不是按机器计算:每分钟 30 个请求,同时进行 4 个。你只能调用 BroadNet 列出的模型,例如 Qwen3.8 27B;私有端点和其他模型需要另行申请。用 curl 发出第一个请求,一分钟就能试完。