BroadRouter
开始使用

Serverless 推理(serverless inference)

更新于

Serverless 推理是一种运行机器学习模型的方式:平台自动启动、扩缩和停止端点背后的算力,空闲时常常缩到零,并按使用量而不是按预留机器计费。代价是可能出现冷启动延迟。

又称: 无服务器推理、Serverless 大模型、Serverless GPU 推理、缩容到零、按量推理、serverless inference、serverless LLM、serverless model endpoint、scale to zero、serverless GPU inference

Serverless 并不是没有服务器,而是你看不到它们,而且停止发送请求时就停止付费。

工作原理

AWS 的 SageMaker 指南给出了一个清晰的参考版本。Serverless 端点 “automatically launch compute resources and scale them in and out depending on traffic”(译文:自动启动计算资源,并根据流量扩缩容),没有请求时,服务会 “scales your endpoint down to 0”(译文:把你的端点缩到 0)。你按使用量付费,而不是按实例付费。

缩到零的代价是冷启动。如果端点一直空闲,此时来了一个请求,“it can take some time for your endpoint to spin up the compute resources”(译文:端点可能需要一些时间来启动计算资源)。对大语言模型来说,加载几十 GB 的权重会让这段延迟更长。常见的办法是付费保持一部分容量预热;AWS 称之为预置并发(provisioned concurrency),按内存、时长和并发量计费。

各平台的功能不尽相同。AWS 列出的 SageMaker Serverless Inference 不支持项中就包括 GPU,所以大模型规模的 Serverless 托管通常来自其他平台。Hugging Face 把它的 Inference Providers 描述为一种只用一个访问令牌(token)就能在多家服务商上使用 “serverless inference of models”(译文:模型的 Serverless 推理)的方式。

为什么重要

Serverless 端点 租用 GPU(GPU 小时) 共享的按 token 计费 API
空闲时付费 否(除非保持预热) 是 否
冷启动 可能有 运行后没有 列出的模型很少有
自己的模型 可以 可以 只能用服务商列出的
谁负责扩缩容 平台 你 服务商

Serverless 适合用自己的模型、流量有尖峰或很低的场景。稳定的重负载通常在预留硬件上更便宜。冷启动表现为延迟的长尾,而不会体现在平均值里,所以要看 p95。

在 BroadNet Inference 上

BroadNet 并没有把自己的 API 称为 Serverless,文档里也没有提到冷启动。实际上,它的按量付费密钥具备对调用方最重要的那些 Serverless 特性:不用选实例,不用管扩缩容,按 token 或按音频分钟计费。限制按密钥而不是按机器计算:每分钟 30 个请求,同时进行 4 个。你只能调用 BroadNet 列出的模型,例如 Qwen3.8 27B;私有端点和其他模型需要另行申请。用 curl 发出第一个请求,一分钟就能试完。

常见问题

Serverless 推理里的冷启动是什么?

已经缩容的端点收到请求时,必须先启动算力、加载模型,由此产生的延迟就是冷启动。AWS 的 SageMaker 文档描述了这一点,并提供预置并发(provisioned concurrency),付费让容量保持预热。

按 token 计费的大模型 API 算 Serverless 吗?

从调用方看,基本算。你发送请求、按 token 付费,不用管理任何服务器。区别在于,共享 API 会为众多客户常驻加载热门模型,所以通常不用等你自己的模型启动。

Serverless 推理比独占 GPU 便宜吗?

流量有尖峰或很低时,通常更便宜,因为空闲时不再付费。负载持续且很重时,预留 GPU 的单次请求成本往往更低。请拿你的流量模式分别对照两种价格。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity