---
title: "什么是 Serverless 推理？按用量付费的模型托管 | BroadRouter"
description: "Serverless 推理把模型放在一个随流量自动扩缩容（甚至缩到零）的端点后面，只按使用量计费。本文讲冷启动、计费方式，以及它和其他方案的对比。"
url: https://broadrouter.com/zh/glossary/serverless-inference/
lang: zh-Hans
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。 [阅读英文原文](https://broadrouter.com/glossary/serverless-inference/) (2026-11-16 更新).

# Serverless 推理（serverless inference）

更新于 2026-11-16

Serverless 推理是一种运行机器学习模型的方式：平台自动启动、扩缩和停止端点背后的算力，空闲时常常缩到零，并按使用量而不是按预留机器计费。代价是可能出现冷启动延迟。

又称： 无服务器推理、Serverless 大模型、Serverless GPU 推理、缩容到零、按量推理、serverless inference、serverless LLM、serverless model endpoint、scale to zero、serverless GPU inference

Serverless 并不是没有服务器，而是你看不到它们，而且停止发送请求时就停止付费。

## 工作原理

AWS 的 SageMaker 指南给出了一个清晰的参考版本。Serverless 端点 “automatically launch compute resources and scale them in and out depending on traffic”（译文：自动启动计算资源，并根据流量扩缩容），没有请求时，服务会 “scales your endpoint down to 0”（译文：把你的端点缩到 0）。你按使用量付费，而不是按实例付费。

缩到零的代价是**冷启动**。如果端点一直空闲，此时来了一个请求，“it can take some time for your endpoint to spin up the compute resources”（译文：端点可能需要一些时间来启动计算资源）。对大语言模型来说，加载几十 GB 的权重会让这段延迟更长。常见的办法是付费保持一部分容量预热；AWS 称之为预置并发（provisioned concurrency），按内存、时长和并发量计费。

各平台的功能不尽相同。AWS 列出的 SageMaker Serverless Inference 不支持项中就包括 GPU，所以大模型规模的 Serverless 托管通常来自其他平台。Hugging Face 把它的 Inference Providers 描述为一种只用一个访问令牌（token）就能在多家服务商上使用 “serverless inference of models”（译文：模型的 Serverless 推理）的方式。

## 为什么重要

|  | Serverless 端点 | 租用 GPU（[GPU 小时](https://broadrouter.com/zh/glossary/gpu-hour/)） | 共享的按 token 计费 API |
| --- | --- | --- | --- |
| 空闲时付费 | 否（除非保持预热） | 是 | 否 |
| 冷启动 | 可能有 | 运行后没有 | 列出的模型很少有 |
| 自己的模型 | 可以 | 可以 | 只能用服务商列出的 |
| 谁负责扩缩容 | 平台 | 你 | 服务商 |

Serverless 适合用自己的模型、流量有尖峰或很低的场景。稳定的重负载通常在预留硬件上更便宜。冷启动表现为[延迟](https://broadrouter.com/zh/glossary/latency/)的长尾，而不会体现在平均值里，所以要看 p95。

## 在 BroadNet Inference 上

BroadNet 并没有把自己的 API 称为 Serverless，文档里也没有提到冷启动。实际上，它的[按量付费](https://broadrouter.com/zh/glossary/pay-as-you-go/)密钥具备对调用方最重要的那些 Serverless 特性：不用选实例，不用管扩缩容，按 token 或按音频分钟计费。限制按密钥而不是按机器计算：每分钟 30 个请求，同时进行 4 个。你只能调用 BroadNet 列出的模型，例如 [Qwen3.8 27B](https://broadrouter.com/zh/models/qwen3.8-27b/)；私有端点和其他模型需要另行申请。[用 curl 发出第一个请求](https://broadrouter.com/zh/guides/curl-quickstart/)，一分钟就能试完。

## 常见问题

### Serverless 推理里的冷启动是什么？

已经缩容的端点收到请求时，必须先启动算力、加载模型，由此产生的延迟就是冷启动。AWS 的 SageMaker 文档描述了这一点，并提供预置并发（provisioned concurrency），付费让容量保持预热。

### 按 token 计费的大模型 API 算 Serverless 吗？

从调用方看，基本算。你发送请求、按 token 付费，不用管理任何服务器。区别在于，共享 API 会为众多客户常驻加载热门模型，所以通常不用等你自己的模型启动。

### Serverless 推理比独占 GPU 便宜吗？

流量有尖峰或很低时，通常更便宜，因为空闲时不再付费。负载持续且很重时，预留 GPU 的单次请求成本往往更低。请拿你的流量模式分别对照两种价格。

## 另请参阅

-   [推理服务商（inference provider）](https://broadrouter.com/zh/glossary/inference-provider/) (术语)
-   [GPU 小时（GPU-hour）](https://broadrouter.com/zh/glossary/gpu-hour/) (术语)
-   [按量付费（pay-as-you-go）](https://broadrouter.com/zh/glossary/pay-as-you-go/) (术语)
-   [延迟（latency）](https://broadrouter.com/zh/glossary/latency/) (术语)
-   [并发（concurrency）](https://broadrouter.com/zh/glossary/concurrency/) (术语)
-   [用 curl 首次调用 BroadNet Inference API](https://broadrouter.com/zh/guides/curl-quickstart/) (指南)
-   [自建部署大模型还是用 API：真实成本与盈亏平衡点](https://broadrouter.com/zh/blog/self-hosting-llm-vs-api-cost/) (文章)
-   [大模型 API 怎么计费：输入、缓存、输出与思考 token 详解](https://broadrouter.com/zh/blog/llm-api-pricing-explained/) (文章)

用你的真实业务负载试一试。 新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-serverless-inference&utm_content=page-cta) ·

**来源**

-   [AWS，Amazon SageMaker Serverless Inference 开发者指南（2026-11-16 查阅）](https://docs.aws.amazon.com/sagemaker/latest/dg/serverless-endpoints.html)
-   [Hugging Face，Inference Providers 文档（Serverless 推理）（2026-11-16 查阅）](https://huggingface.co/docs/inference-providers/index)
-   [BroadNet Inference API 参考文档，限制（2026-11-16 查阅） （英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-serverless-inference&utm_content=sources#limits)
