---
title: "什么是 API 速率限制？RPM、TPM 与 429 错误 | BroadRouter"
description: "速率限制规定客户端在一个时间窗口内能使用 API 的上限。常见的大模型限制如 RPM、TPM，429 错误的含义，以及如何用退避策略重试。"
url: https://broadrouter.com/zh/glossary/rate-limit/
lang: zh-Hans
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/glossary/rate-limit/)（2026-11-14 更新）。

# 速率限制（rate limit）

更新于 2026-11-14

速率限制是 API 对客户端在一个时间窗口内的使用量设定的上限，例如每分钟请求数或每分钟 token 数。超出限制的请求会被拒绝，通常返回 HTTP 429 Too Many Requests，直到用量回落到限制以下。

又称： 限流、速率限制、频率限制、每分钟请求数、每分钟 token 数、429 错误、RPM、TPM、requests per minute、tokens per minute、HTTP 429、throttling、rate limit

每个共享的 API 都会用限制来保护自己。弄清楚哪些限制适用，你就知道能跑多快，以及碰到限制时该怎么办。

## 工作原理

大模型 API 会同时统计好几项指标。例如 OpenAI 列出了：

-   **RPM：** 每分钟请求数
-   **RPD：** 每天请求数
-   **TPM：** 每分钟 token 数
-   **TPD：** 每天 token 数

先触发哪一项，就按哪一项限制。许多服务商还会限制[并发](https://broadrouter.com/zh/glossary/concurrency/)，也就是同时在处理中的请求数。

超出限制时，服务器返回 `429 Too Many Requests`。MDN 将其描述为客户端 “sent too many requests in a given amount of time.”（译文：在给定时间内发送了过多请求。）`Retry-After` 响应头可能会说明需要等待多少秒。

一个安全的重试循环：

```python
import random, time

for attempt in range(5):
    r = send()
    if r.status_code != 429:
        break
    wait = float(r.headers.get("Retry-After", 2 ** attempt))
    time.sleep(wait + random.random())
```

OpenAI 官方 SDK 已经会对 429 和 5xx 错误做退避重试；设置 `max_retries` 即可，不必自己写循环。

## 为什么重要

-   **吞吐量。** 你的实际上限是所有限制中最低的那一个。在每分钟限 30 个请求的密钥上（BroadNet 的按量付费密钥就是如此），1,000 个请求至少需要 1,000 ÷ 30 分钟，无论模型有多快。[速率限制计算器](https://broadrouter.com/tools/llm-rate-limit-calculator/)可以按你自己的限制帮你算。
-   **可靠性。** 没有处理的 429 看起来就像服务中断。退避策略能把它们变成短暂的延迟。
-   **费用。** 有些服务商在达到支出上限时也返回 429，这在[按量付费](https://broadrouter.com/zh/glossary/pay-as-you-go/)密钥上很常见。重试前先读一下错误正文。

## 在 BroadNet Inference 上

| 密钥类型 | 限制 |
| --- | --- |
| 按量付费 | 每分钟 30 个请求，同时最多 4 个请求 |
| 按小时密钥 | 每分钟 120 个请求，一路流，每分钟 300,000 个 token |
| 不限量套餐 | 每个会话同一时间一个请求，没有 token 计量 |

当达到速率、并发、token 速率或支出上限时，BroadNet 会返回 429。请退避后重试。[错误与重试指南](https://broadrouter.com/zh/guides/errors-and-retries/)涵盖了所有状态码，[“不限量”到底意味着什么](https://broadrouter.com/zh/blog/what-unlimited-llm-api-really-means/)则说明了固定价格套餐仍有哪些限制。

## 常见错误

-   重试 401 或 403 错误。那是密钥或策略问题，不是速率限制。
-   多个 worker 共用一个密钥却没有共享的限流器。每个 worker 各自退避，而其他 worker 仍让密钥保持饱和。

## 常见问题

### 遇到 429 应该重试吗？

应该，但要先等待。如果有 Retry-After 响应头就照它来；否则使用带随机抖动的指数退避，并限制重试次数。共用这个状态码的支出上限或账单类错误不要重试。

### 失败的请求也计入限制吗？

通常会。OpenAI 的指南说，失败的请求仍然计入每分钟的限制，所以在循环里立即重试只会让情况更糟。

### 速率限制和并发限制有什么区别？

速率限制统计一段时间内的请求数或 token 数。并发限制统计同一时刻正在运行的请求数。一个密钥可能先触发其中任何一个。

## 另请参阅

-   [并发（concurrency）](https://broadrouter.com/zh/glossary/concurrency/)（术语）
-   [API 密钥（API key）](https://broadrouter.com/zh/glossary/api-key/)（术语）
-   [大模型路由（LLM router）](https://broadrouter.com/zh/glossary/llm-router/)（术语）
-   [按量付费（pay-as-you-go）](https://broadrouter.com/zh/glossary/pay-as-you-go/)（术语）
-   [指数退避（exponential backoff）](https://broadrouter.com/zh/glossary/exponential-backoff/)（术语）
-   [幂等键（idempotency key）](https://broadrouter.com/zh/glossary/idempotency-key/)（术语）
-   [批处理 API（Batch API）](https://broadrouter.com/zh/glossary/batch-api/)（术语）
-   [消费上限（spend limit）](https://broadrouter.com/zh/glossary/spend-limit/)（术语）
-   [请求超时（request timeout）](https://broadrouter.com/zh/glossary/request-timeout/)（术语）
-   [BroadNet Inference 错误码，以及什么时候该重试](https://broadrouter.com/zh/guides/errors-and-retries/)（指南）
-   [用 OpenAI Python SDK 调用 BroadNet Inference](https://broadrouter.com/zh/guides/openai-python-sdk/)（指南）
-   [大模型 API 套餐的“不限量”，到底意味着什么](https://broadrouter.com/zh/blog/what-unlimited-llm-api-really-means/)（文章）
-   [迁移到 OpenAI 兼容 API：切换服务商检查清单](https://broadrouter.com/zh/blog/openai-compatible-api-migration-checklist/)（文章）

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-rate-limit&utm_content=page-cta) ·

**来源**

-   [MDN：429 Too Many Requests](https://developer.mozilla.org/en-US/docs/Web/HTTP/Reference/Status/429)
-   [OpenAI：速率限制指南](https://developers.openai.com/api/docs/guides/rate-limits)
-   [BroadNet Inference API 参考：限制（英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-rate-limit&utm_content=sources#limits)
