BroadRouter

제공업체별 LLM API 속도 제한 비교: RPM, TPM, 동시 요청

BroadNet Inference 팀 · 8분 분량 · 게시 · 업데이트

LLM API 속도 제한은 크기뿐 아니라 무엇을 세는지부터 다릅니다. OpenAI, Anthropic, Gemini는 사용 등급별로 분당 요청과 분당 토큰을 제한합니다. DeepSeek과 DeepInfra는 동시 요청을 제한하고, Groq과 Cerebras 무료 티어에는 일일 한도가 더 있습니다. 첫 유료 등급에서 OpenAI와 Anthropic은 분당 수천 건을 허용하지만, BroadNet 종량제 키는 분당 요청 30개까지입니다.

“LLM API 속도 제한”을 검색하면 서로 맞지 않는 블로그 표가 나오는데, 오래된 숫자를 베껴 온 경우가 많기 때문입니다. 이 글은 모든 수치를 2026년 11월 15일에 각 제공업체의 공식 문서에서 직접 확인했고, 어떤 등급과 모델에 해당하는지 밝혔으며, 제공업체가 공개하지 않은 값은 빈칸으로 두었습니다. 무료 크레딧과 데이터 사용 조건까지 담은 같은 데이터를 내려받을 수 있는 데이터셋으로 보려면 LLM API 무료 티어와 속도 제한을 참고하세요. BroadRouter는 BroadNet이 운영하는 사이트이며, BroadNet의 한도도 표에 함께 넣었습니다.

RPM, TPM, RPD, 동시 요청은 무슨 뜻인가요?

속도 제한은 일정 시간 동안 보낼 수 있는 양에 상한을 둡니다. 제공업체마다 세는 대상이 다릅니다.

한도 세는 대상 가장 문제가 되는 경우
RPM, 분당 요청 1분 동안 시작한 요청 짧은 호출을 많이 보낼 때(분류, 임베딩식 루프)
RPS, 초당 요청 같은 것을 1초 단위로 분 평균은 낮아도 요청을 몰아서 보낼 때
TPM, 분당 토큰 1분 동안 처리한 토큰. 입력(ITPM)과 출력(OTPM)을 따로 세기도 함 긴 프롬프트나 긴 문서를 보낼 때
RPD / TPD, 일일 하루 동안의 요청 또는 토큰 무료 티어에서 배치 작업을 돌릴 때
동시 요청 같은 순간에 처리 중인 요청 요청이 느릴 때: 추론, 긴 출력, 에이전트

어떤 한도에 걸리는지는 요청의 형태에 달려 있습니다. 동시 요청 한도에서는 처리량이 요청 길이에 따라 달라집니다. DeepInfra 문서는 평균 1초짜리 요청을 동시에 200개 처리하면 대략 12,000 RPM이 된다는 예를 듭니다. 같은 동시 요청 수에서 30초짜리 추론 요청이라면 그중 일부밖에 나오지 않습니다.

대부분의 제공업체는 공개한 것보다 더 짧은 시간 단위로도 한도를 적용합니다. Anthropic은 60 RPM 한도가 “might be enforced as 1 request per second”(번역: 초당 요청 1건으로 적용될 수 있습니다)라고 설명하고, xAI는 초당 한도를 분당 예산에서 계산합니다(“RPM / 48, with a minimum of 2”, 번역: RPM / 48, 최소 2).

사용 등급은 어떻게 작동하나요?

대형 비공개 모델 제공업체는 지출이 늘수록 한도를 올려 줍니다.

제공업체 등급(2026-11-15 확인) 올라가는 방법
OpenAI Free, Build, Launch, Grow Free: 허용된 지역의 사용자여야 하며, 월 사용 한도는 USD 100(크레딧이 아닌 지출 상한). 이후 누적 크레딧 구매 USD 5, USD 100, USD 500. 월 사용 한도는 각각 USD 500, USD 5,000, USD 200,000
Anthropic Evaluation, Start, Build, Scale, Custom 사용 이력과 계정 상태에 따라 자동. 월 지출 상한: Start USD 500, Build USD 1,000, Scale USD 200,000
Google Gemini API Free, Tier 1, Tier 2, Tier 3 Tier 1은 결제 계정 연결 필요. Tier 2는 USD 100 결제와 3일 경과, Tier 3은 USD 1,000과 30일 경과. Google은 명시된 속도 제한이 “not guaranteed”(번역: 보장되지 않음)이며 상향 요청에 대해서도 “no guarantees”(번역: 보장하지 않음)라고 밝힘
Fireworks AI Tier 1~Tier 4 Tier 1은 결제 수단 등록, 이후 지출 또는 크레딧 USD 50, USD 500, USD 5,000. 등급이 올라가면 RPM이 아니라 TPM이 오름
xAI Tier 0~Tier 4, Enterprise 2026년 1월 1일 이후 누적 지출: USD 0, 50, 250, 1,000, 5,000

실무에서는 두 가지가 중요합니다. Anthropic의 지출 상한에 도달하면 retry-after 헤더 없이 HTTP 429가 반환되므로, 자동 재시도는 월이 바뀌거나 등급이 오를 때까지 계속 실패합니다. 또 Anthropic의 입력 한도에는 캐시되지 않은 입력만 집계됩니다. 캐시 읽기는 포함되지 않으므로, 캐시 적중률이 높으면 실제 처리량이 올라갑니다.

제공업체별 LLM API 속도 제한: 첫 단계 등급

각 제공업체의 무료 등급 또는 첫 유료 등급 수치이며, 각사의 속도 제한 페이지에서 가져왔습니다. 대시(–)는 그 페이지가 해당 한도의 숫자를 공개하지 않았다는 뜻이며, 무제한이라는 뜻이 아닙니다.

제공업체 등급과 모델 RPM TPM 일일 동시 요청
OpenAI Build; Astra, Sol, Terra 5,000 1,000,000 – –
OpenAI Build; Luna 5,000 2,000,000 – –
Anthropic Start; Sonnet 5.5, Opus 5.5, Haiku 5.5 4,000 입력 2,000,000(캐시 제외), 출력 400,000 – –
Google Gemini API Free; Gemini Decision 1(페이지에 무료 수치가 있는 유일한 모델) 200 50,000 요청 10,000건 –
Google Gemini API Tier 1; Gemini Decision 1 1,500 1,000,000 요청 50,000건 –
Groq 무료 플랜 표; openai/gpt-oss-120b, qwen/qwen3.8-27b 30 8,000 요청 1,000건, 토큰 200,000개 –
Groq Developer 플랜 표; openai/gpt-oss-120b, qwen/qwen3.8-27b 1,000 250,000 요청 500,000건 –
Cerebras Free Trial; gpt-oss-120b 5 캐시 제외 30,000(전체 90,000) 토큰 1,000,000개 –
Cerebras Developer(종량제); gpt-oss-120b 1,000 캐시 제외 500,000(전체 1,500,000) 상한 없음 –
Fireworks AI 결제 수단과 크레딧 없음; 계정 전체 10 – – –
Fireworks AI 결제 수단과 크레딧 있음; 계정 전체 6,000 지출 등급에 따라 결정 – –
DeepInfra 기본값; 공개 모델당 – – – 200
DeepSeek 기본값; deepseek-flash (DeepSeek-V4.1-Flash-1017), 계정당 – – – 2,500
DeepSeek 기본값; deepseek-v4-pro (DeepSeek-V4-Pro-0813), 계정당 – – – 500
xAI Tier 0; grok-4.7 (150 RPS) – 50,000,000 – –
OpenRouter :free 모델, 구매 크레딧 USD 10 미만 20 – 요청 50건 –
OpenRouter :free 모델, 구매 크레딧 USD 10 이상 20 – 요청 1,000건 –
Cohere 체험(Trial) 키; Command A 20 – 월 호출 1,000건 –
Cohere 프로덕션 키; Command A 500 – – –
BroadNet Inference 종량제 키; 모든 모델 30 – – 4
BroadNet Inference 시간제 키; Gemma 4 VL 26B 120 300,000 – 스트림 1개
BroadNet Inference 정액 플랜 세션; DeepSeek V4.1 Flash – 토큰 계량 없음 – 한 번에 요청 1개

각 행에 대한 메모:

  • Groq. 페이지에는 “Free Plan Limits”(기본으로 열려 있음)와 “Developer Plan Limits”라는 두 탭이 있습니다. 탭 위의 문장은 수치를 “the base limits for the Developer plan”(번역: Developer 플랜의 기본 한도)이라고 부르는데, 이는 두 번째 탭에만 맞는 설명입니다. 위 표에는 두 플랜을 모두 실었습니다. 조직별 정확한 한도는 한도 페이지에서 확인하세요.
  • Google. 한도는 API 키 단위가 아니라 프로젝트 단위로 적용됩니다. 대부분 모델의 수치는 AI Studio 안에서만 볼 수 있습니다. Gemini Decision 1은 Google Decisions API용 분류 모델로, 텍스트가 아니라 확률을 반환합니다. 따라서 이 한도로 Gemini 채팅 모델의 한도를 짐작하기는 어렵습니다.
  • Mistral과 Together AI는 숫자를 공개하지 않습니다. Mistral은 표를 공개하는 대신 콘솔에서 한도를 보여 주며, 무료 API 접근은 제공하지 않습니다(“It doesn’t include API access”, 번역: API 접근은 포함되지 않습니다). Together는 수요가 많을 때 “may limit requests”(번역: 요청을 제한할 수 있습니다)라고 하며, 인기 모델에는 별도 한도를 둘 수 있다고 밝힙니다.
  • OpenRouter. 유료 모델 변형에는 “no platform-level request cap”(번역: 플랫폼 차원의 요청 상한 없음)이지만, 각 모델 뒤의 제공업체에는 여전히 자체 한도가 있습니다.
  • DeepSeek. 붐빌 때 DeepSeek은 빈 줄이나 : keep-alive 주석을 보내 연결을 유지하고, 10분 안에 추론이 시작되지 않으면 연결을 닫습니다. 클라이언트 타임아웃은 이를 고려해 설정하세요.

BroadNet의 한도는 솔직히 어느 수준인가요?

대량 작업에는 낮습니다. BroadNet 종량제 키는 분당 요청 30개, 동시 요청 4개를 허용하는 반면, OpenAI와 Anthropic의 첫 유료 등급은 분당 수천 건을, Fireworks는 카드를 등록하면 6,000 RPM을 허용합니다. 키 하나로 분당 수천 건의 짧은 요청을 보내야 한다면 대형 제공업체의 유료 등급이 더 잘 맞습니다.

다른 형태의 작업에는 이 한도가 맞습니다.

  • 에이전트와 채팅. 에이전트 하나는 한 번에 요청 하나를 보내고 기다립니다. 동시 요청 4개면 키 하나로 에이전트 몇 개를 감당할 수 있고, 앱이나 팀원마다 키를 나누면 부하가 분산됩니다.
  • 정액 플랜. Full Moon, Orbit, Meteor 세션에는 토큰 계량도, 일일·주간 상한도 없지만, 한 번에 요청 1개를 일반적으로 초당 약 100토큰 속도로 처리합니다. 에이전트를 병렬로 돌리려면 에이전트마다 세션을 구매하세요. 필요한 세션 수 계산하기.
  • 시간제 키. 시간당 $0.50 요금으로 Gemma 4 VL 26B 스트림 하나를 분당 요청 120개, 분당 토큰 300,000개로 사용할 수 있습니다.

BroadNet의 모든 한도는 HTTP 429를 반환합니다. API 레퍼런스에는 retry-after 대기 시간이 나와 있지 않으므로, 상한을 둔 백오프와 지터를 사용하세요.

속도 제한에 맞춰 어떻게 계획하나요?

  1. 실제로 걸리는 한도를 찾으세요. 최대 트래픽 기준으로 분당 요청, 분당 토큰, 동시 요청 수를 계산합니다. LLM 속도 제한 계산기가 요청 크기와 지연 시간으로 이를 계산해 줍니다.
  2. 클라이언트에서 속도를 조절하세요. 공개된 한도에 맞춘 토큰 버킷으로 대부분의 429를 피할 수 있습니다. Anthropic도 서버 쪽에서 같은 알고리즘을 씁니다.
  3. 헤더를 읽으세요. Anthropic은 anthropic-ratelimit-* 헤더를, Groq은 x-ratelimit-* 헤더를 반환하는데, Groq의 요청 헤더는 “always refers to Requests Per Day”(번역: 항상 일일 요청 수를 가리킵니다)입니다. retry-after가 있으면 그 값을 사용하세요.
  4. 백오프와 지터로 재시도하고, 재시도 횟수에 상한을 두세요. 429 오류 처리에 동작하는 코드가 있고, 오류와 재시도에서 BroadNet의 상태 코드를 다룹니다.
  5. 바뀌지 않는 프리픽스를 캐시하세요. Anthropic에서는 캐시된 입력이 입력 한도에 집계되지 않습니다. 어디서든 비용도 줄어듭니다.
  6. 대량 작업은 분산하세요. Anthropic은 증가 속도 제한(ramp limit)도 적용하므로, 트래픽이 갑자기 늘면 한도 아래에서도 429가 날 수 있습니다. 배치 작업은 천천히 시작하세요. Batch API가 없다면 재개 가능한 배치 실행기로 작업을 한도 안에서 돌릴 수 있습니다.
  7. 상향을 요청하세요. DeepSeek, DeepInfra, Mistral, Anthropic 모두 더 높은 한도를 요청하는 절차를 안내합니다.

BroadNet Inference는 어디에 적합한가요?

BroadRouter는 BroadNet이 운영하는 웹사이트이므로, 이 섹션은 그 점을 감안해 읽어 주세요. 키 하나로 매우 높은 요청 속도가 필요하다면 BroadNet Inference는 맞는 선택이 아닙니다. 공개된 키당 한도가 OpenAI, Anthropic, Fireworks, Cerebras의 유료 등급보다 훨씬 낮기 때문입니다. 한 번에 요청 몇 개를 보내는 에이전트와 채팅 워크로드에 맞으며, 특히 바쁜 에이전트에도 토큰 계량이나 일일 상한이 없는 정액 플랜에서 그렇습니다. 신규 계정에는 $5 상당의 초기 크레딧이 제공되며, Gemma 4 VL 26B, 전사 모델 2개, Gemma 시간제 키에 사용할 수 있습니다. DeepSeek, GLM, Qwen은 충전이 필요합니다. 셀프서비스에는 SLA가 없습니다. API 한도 보기 또는 플랜 비교하기.

자주 묻는 질문

OpenAI API의 첫 유료 등급 속도 제한은 얼마인가요?

OpenAI 속도 제한 가이드(2026년 11월 15일 확인)에 따르면 Build 등급은 누적 크레딧 구매 USD 5부터이며, 월 사용 한도는 USD 500입니다. Build 등급은 Astra, Sol, Terra에서 5,000 RPM과 1,000,000 TPM을, Luna에서 5,000 RPM과 2,000,000 TPM을 허용합니다. 한도는 조직 단위와 프로젝트 단위로 적용됩니다.

Anthropic API 속도 제한은 어떻게 되나요?

Start 등급에서 Claude Sonnet 5.5, Opus 5.5, Haiku 5.5는 각각 4,000 RPM, 분당 입력 토큰 2,000,000개, 분당 출력 토큰 400,000개를 허용합니다(2026년 11월 15일 확인). 입력 한도에는 캐시되지 않은 입력만 집계됩니다. 새 조직은 그보다 낮은 Evaluation 등급에서 시작할 수 있습니다.

Groq 무료 속도 제한은 얼마인가요?

Groq이 공개한 표(2026년 11월 15일 확인)는 openai/gpt-oss-120b와 qwen/qwen3.8-27b에 대해 분당 요청 30건, 하루 요청 1,000건, 분당 토큰 8,000개, 하루 토큰 200,000개를 보여 줍니다. Groq은 조직별 정확한 한도는 한도 페이지에서 확인하라고 안내합니다. Developer 플랜 표는 같은 모델에 대해 분당 요청 1,000건, 하루 요청 500,000건, 분당 토큰 250,000개를 보여 줍니다.

DeepSeek API에도 속도 제한이 있나요?

네, 동시 요청 형태로 있습니다. DeepSeek은 계정당 deepseek-flash에서 동시 요청 2,500개, deepseek-v4-pro에서 500개를 허용하며, 이를 넘으면 HTTP 429를 반환합니다. 더 높은 한도는 요청하면 추가 비용 없이 받을 수 있습니다(2026년 11월 15일 확인).

RPM, TPM, 동시 요청은 무엇이 다른가요?

RPM은 1분 동안 시작한 요청 수를 셉니다. TPM은 1분 동안 처리한 토큰 수를 세며, 입력과 출력을 따로 세기도 합니다. 동시 요청은 같은 순간에 처리 중인 요청 수를 세므로, RPM이 낮아도 긴 요청이 한도를 다 써 버릴 수 있습니다.

BroadNet Inference의 속도 제한은 얼마인가요?

종량제 키는 분당 요청 30개, 동시 요청 4개를 허용합니다. 시간제 키는 Gemma 4 VL 26B에서 분당 요청 120개, 분당 토큰 300,000개, 스트림 1개를 허용합니다. 정액 플랜 세션은 한 번에 요청 1개를 처리합니다. 모두 한도를 넘으면 HTTP 429를 반환합니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기