BroadRouter
시작하기

처리량(throughput)

업데이트

LLM 서빙에서 처리량(throughput)은 시스템이 모든 동시 요청에 걸쳐 단위 시간당 끝내는 전체 작업량으로, 보통 초당 출력 토큰 수나 초당 요청 수로 측정합니다. 요청 하나가 토큰을 받는 속도인 스트림당 속도와는 다른 개념입니다.

다른 이름: LLM 처리량, 시스템 처리량, 전체 처리량, 총 초당 토큰 수, 초당 요청 수, system throughput, aggregate throughput, total tokens per second, requests per second, RPS

초당 토큰 수는 답변 하나가 얼마나 빨리 스트리밍되는지 알려 줍니다. 처리량은 시스템 전체가 얼마나 많은 일을 해내는지 알려 줍니다.

작동 방식

NVIDIA 벤치마크 가이드는 둘을 구분합니다. **시스템 전체 TPS(Total TPS per system)**는 “total output token throughput across all simultaneous requests”(번역: 모든 동시 요청에 걸친 전체 출력 토큰 처리량)로, 전체 출력 토큰을 첫 요청부터 마지막 응답까지의 시간으로 나눈 값입니다. **사용자당 TPS(TPS per user)**는 요청 하나의 출력 길이를 그 요청의 종단 간 시간으로 나눈 값입니다. **초당 요청 수(RPS)**는 토큰 대신 완료된 요청 수를 셉니다.

핵심 문장은 이것입니다. “As the number of concurrent requests increases, total system TPS increases while TPS per user decreases.”(번역: 동시 요청 수가 늘면 시스템 전체 TPS는 증가하고 사용자당 TPS는 감소한다) 전체 TPS는 GPU가 포화될 때까지 오르고, 그 지점을 넘으면 떨어질 수 있습니다.

서버에서는 대개 메모리가 한계입니다. PagedAttention 논문은 높은 처리량으로 서빙하려면 “requires batching sufficiently many requests at a time”(번역: 한 번에 충분히 많은 요청을 배치로 묶어야 한다)이라고 설명하며, 요청마다의 KV 캐시가 몇 개를 담을 수 있는지를 결정합니다. 메모리 관리를 개선한 덕분에 vLLM은 같은 지연 시간에서 이전 시스템보다 2~4배 높은 처리량을 달성했습니다.

왜 중요한가

API 호출자에게 처리량은 파이프의 내 쪽 이야기입니다. 시간당 문서를 몇 개 처리할 수 있는지, 에이전트 몇 개가 동시에 일할 수 있는지입니다. 간단한 규칙을 따릅니다.

your throughput ≈ concurrent requests × per-stream tokens per second

즉 내 처리량은 동시 요청 수에 스트림당 초당 토큰 수를 곱한 값과 비슷합니다.

이 식은 부하를 늘려도 제공업체가 스트림당 속도를 유지할 때만 성립합니다. 가정하지 말고 측정하세요.

처리량의 상한은 모델 혼자가 아니라 동시 처리 한도와 속도 제한이 정합니다. 작업이 느리다면, 병렬로 돌릴 수 있는 요청을 하나씩 순서대로 실행하고 있지 않은지 확인하세요.

BroadNet Inference에서는

BroadNet은 시스템 처리량 수치가 아니라 키별 한도를 공개합니다. 플랜 페이지는 플랜 모델인 DeepSeek V4.1 Flash의 일반적인 속도를 초당 약 100토큰 수준으로 안내하며, 다른 모델의 속도는 공개하지 않습니다. 예시로, 스트림마다 그 속도가 나온다면 다음과 같습니다.

옵션 병렬 요청 속도가 유지될 때의 상한
종량제 키 4 건(분당 요청 30 건) 스트림 4 개 × 각 초당 약 100토큰
시간제 키(Gemma 4 VL 26B) 스트림 1개, 분당 토큰 300,000 공개되지 않음. 직접 측정
정액 플랜 세션 한 번에 요청 1개 초당 약 100토큰

정액 플랜을 확장하려면 병렬로 일하는 에이전트마다 세션을 하나씩 추가합니다. 무제한 LLM API 세션과 코딩 에이전트 병렬 실행을 참고하세요. 이 속도는 BroadNet이 DeepSeek V4.1 Flash에 대해 밝힌 일반적인 수치이며, 다른 모델이나 부하가 걸린 상황에 대한 보장이 아닙니다.

자주 묻는 질문

처리량은 초당 토큰 수와 같은 건가요?

시스템 수준에서만 그렇습니다. 스트림당 초당 토큰 수는 요청 하나가 체감하는 속도이고, 처리량은 모든 스트림을 더한 값입니다. NVIDIA는 이를 사용자당 TPS와 시스템 전체 TPS로 부릅니다.

LLM API에서 처리량을 늘리려면 어떻게 하나요?

동시 처리 한도와 속도 제한 안에서 요청을 더 많이 병렬로 실행하고, 각 요청을 짧게 유지하세요. 요청마다 이미 슬롯을 꽉 채워 쓰고 있다면, 슬롯이나 키, 세션을 늘리는 것만이 방법입니다.

처리량이 높으면 지연 시간이 낮아지나요?

아니요. 처리량은 모든 요청에 걸친 초당 전체 작업량이고, 지연 시간은 요청 하나에 걸리는 시간입니다. 한 번에 더 많은 요청을 처리하면 전체 처리량은 올라가지만 요청 하나는 느려질 수 있습니다. 그래서 NVIDIA는 사용자당 TPS와 전체 TPS를 따로 보고합니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기