---
title: "API 속도 제한(rate limit)이란? RPM, TPM, HTTP 429 | BroadRouter"
description: "속도 제한은 일정 시간 동안 클라이언트가 API를 쓸 수 있는 양의 상한입니다. RPM, TPM 같은 LLM API의 대표적인 한도, 429 오류의 의미, 백오프로 재시도하는 방법을 정리했습니다."
url: https://broadrouter.com/ko/glossary/rate-limit/
lang: ko
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/glossary/rate-limit/) (2026-11-14 업데이트).

# 속도 제한(rate limit)

업데이트 2026-11-14

속도 제한(rate limit)은 API가 일정 시간 동안 클라이언트가 사용할 수 있는 양에 두는 상한으로, 분당 요청 수나 분당 토큰 수 같은 기준이 있습니다. 한도를 넘은 요청은 사용량이 다시 한도 아래로 내려갈 때까지 거부되며, 보통 HTTP 429 Too Many Requests가 반환됩니다.

다른 이름: 레이트 리밋, 레이트 리미트, 요청 한도, 사용량 제한, 429 오류, 스로틀링, rate limit, RPM, TPM, requests per minute, tokens per minute, HTTP 429, throttling

공유 API는 모두 한도를 두어 스스로를 보호합니다. 어떤 한도가 적용되는지 알면 얼마나 빠르게 보낼 수 있는지, 한도에 걸렸을 때 무엇을 해야 하는지 알 수 있습니다.

## 작동 방식

LLM API는 여러 항목을 동시에 측정합니다. 예를 들어 OpenAI는 다음을 나열합니다.

-   **RPM:** 분당 요청 수
-   **RPD:** 일당 요청 수
-   **TPM:** 분당 토큰 수
-   **TPD:** 일당 토큰 수

먼저 도달한 한도가 적용됩니다. 많은 제공업체는 처리 중인 요청 수, 즉 [동시 처리](https://broadrouter.com/ko/glossary/concurrency/)에도 상한을 둡니다.

한도를 넘으면 서버는 `429 Too Many Requests`를 반환합니다. MDN은 이를 클라이언트가 “sent too many requests in a given amount of time”(번역: 주어진 시간 동안 너무 많은 요청을 보냈음)인 상태로 설명합니다. `Retry-After` 헤더가 몇 초를 기다려야 하는지 알려 줄 수도 있습니다.

안전한 재시도 루프는 다음과 같습니다.

```python
import random, time

for attempt in range(5):
    r = send()
    if r.status_code != 429:
        break
    wait = float(r.headers.get("Retry-After", 2 ** attempt))
    time.sleep(wait + random.random())
```

공식 OpenAI SDK는 이미 429와 5xx 오류를 백오프로 재시도합니다. 직접 루프를 작성하는 대신 `max_retries`를 설정하세요.

## 왜 중요한가

-   **처리량.** 실제 상한은 모든 한도 중 가장 낮은 값입니다. BroadNet 종량제 키처럼 분당 요청 수가 30 요청으로 제한된 키라면, 모델이 아무리 빨라도 요청 1,000개에 최소 (1,000 ÷ 30)분이 걸립니다. [속도 제한 계산기](https://broadrouter.com/tools/llm-rate-limit-calculator/)로 내 한도에 맞춰 계산해 볼 수 있습니다.
-   **안정성.** 처리하지 않은 429 오류는 장애처럼 보입니다. 백오프를 쓰면 짧은 지연으로 바뀝니다.
-   **비용.** 일부 제공업체는 지출 한도에 걸렸을 때도 429를 반환하며, [종량제](https://broadrouter.com/ko/glossary/pay-as-you-go/) 키에서 흔합니다. 재시도하기 전에 오류 본문을 읽으세요.

## BroadNet Inference에서는

| 키 종류 | 한도 |
| --- | --- |
| 종량제 | 분당 요청 30, 동시 처리 4 |
| 시간제 키 | 분당 요청 120, 스트림 1개, 분당 토큰 300,000 |
| 무제한 플랜 | 세션당 한 번에 요청 1개, 토큰 미터 없음 |

BroadNet은 속도, 동시 처리, 토큰 속도 또는 지출 한도에 도달하면 429를 반환합니다. 백오프 후 재시도하세요. [오류와 재시도 가이드](https://broadrouter.com/ko/guides/errors-and-retries/)에서 모든 상태 코드를 다루며, [“무제한”의 실제 의미](https://broadrouter.com/ko/blog/what-unlimited-llm-api-really-means/)에서는 정액 플랜에도 어떤 한도가 남아 있는지 설명합니다.

## 흔한 실수

-   401이나 403 오류를 재시도하는 것. 이는 속도 제한이 아니라 키나 정책 문제입니다.
-   공유 리미터 없이 키 하나로 워커를 여러 개 돌리는 것. 각 워커가 따로 백오프하는 동안 나머지 워커가 키를 계속 포화 상태로 만듭니다.

## 자주 묻는 질문

### 429 오류가 나면 재시도해야 하나요?

네, 잠시 기다린 뒤에 재시도하세요. Retry-After 헤더가 있으면 그 값을 따르고, 없으면 무작위 지터(jitter)를 더한 지수 백오프를 쓰되 시도 횟수에 상한을 두세요. 같은 상태 코드를 쓰는 지출 한도 오류나 결제 오류는 재시도하지 마세요.

### 실패한 요청도 한도에 포함되나요?

대개 그렇습니다. OpenAI 가이드에 따르면 실패한 요청도 분당 한도에 포함되므로, 루프에서 즉시 재시도하면 상황이 더 나빠집니다.

### 속도 제한과 동시 처리 한도는 어떻게 다른가요?

속도 제한은 일정 시간 동안의 요청 수나 토큰 수를 셉니다. 동시 처리 한도는 같은 순간에 실행 중인 요청 수를 셉니다. 키에 따라 둘 중 어느 쪽에 먼저 걸릴지는 다릅니다.

## 함께 보기

-   [동시 처리(concurrency)](https://broadrouter.com/ko/glossary/concurrency/) (용어)
-   [API 키(API key)](https://broadrouter.com/ko/glossary/api-key/) (용어)
-   [LLM 라우터(LLM router)](https://broadrouter.com/ko/glossary/llm-router/) (용어)
-   [종량제(Pay-as-you-go)](https://broadrouter.com/ko/glossary/pay-as-you-go/) (용어)
-   [지수 백오프(exponential backoff)](https://broadrouter.com/ko/glossary/exponential-backoff/) (용어)
-   [멱등성 키(idempotency key)](https://broadrouter.com/ko/glossary/idempotency-key/) (용어)
-   [배치 API(Batch API)](https://broadrouter.com/ko/glossary/batch-api/) (용어)
-   [지출 한도(spend limit)](https://broadrouter.com/ko/glossary/spend-limit/) (용어)
-   [요청 타임아웃(request timeout)](https://broadrouter.com/ko/glossary/request-timeout/) (용어)
-   [BroadNet Inference 오류 코드와 재시도해야 하는 경우](https://broadrouter.com/ko/guides/errors-and-retries/) (가이드)
-   [BroadNet Inference에서 OpenAI Python SDK 사용하기](https://broadrouter.com/ko/guides/openai-python-sdk/) (가이드)
-   [LLM API 플랜의 "무제한"은 실제로 무엇을 뜻할까](https://broadrouter.com/ko/blog/what-unlimited-llm-api-really-means/) (글)
-   [OpenAI 호환 API로 전환하기: 마이그레이션 체크리스트](https://broadrouter.com/ko/blog/openai-compatible-api-migration-checklist/) (글)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-rate-limit&utm_content=page-cta) ·

**출처**

-   [MDN, 429 Too Many Requests](https://developer.mozilla.org/en-US/docs/Web/HTTP/Reference/Status/429)
-   [OpenAI, 속도 제한 가이드](https://developers.openai.com/api/docs/guides/rate-limits)
-   [BroadNet Inference API 레퍼런스, 한도 (영어)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-rate-limit&utm_content=sources#limits)
