초당 토큰 수는 답변 하나가 얼마나 빨리 스트리밍되는지 알려 줍니다. 처리량은 시스템 전체가 얼마나 많은 일을 해내는지 알려 줍니다.
작동 방식
NVIDIA 벤치마크 가이드는 둘을 구분합니다. **시스템 전체 TPS(Total TPS per system)**는 “total output token throughput across all simultaneous requests”(번역: 모든 동시 요청에 걸친 전체 출력 토큰 처리량)로, 전체 출력 토큰을 첫 요청부터 마지막 응답까지의 시간으로 나눈 값입니다. **사용자당 TPS(TPS per user)**는 요청 하나의 출력 길이를 그 요청의 종단 간 시간으로 나눈 값입니다. **초당 요청 수(RPS)**는 토큰 대신 완료된 요청 수를 셉니다.
핵심 문장은 이것입니다. “As the number of concurrent requests increases, total system TPS increases while TPS per user decreases.”(번역: 동시 요청 수가 늘면 시스템 전체 TPS는 증가하고 사용자당 TPS는 감소한다) 전체 TPS는 GPU가 포화될 때까지 오르고, 그 지점을 넘으면 떨어질 수 있습니다.
서버에서는 대개 메모리가 한계입니다. PagedAttention 논문은 높은 처리량으로 서빙하려면 “requires batching sufficiently many requests at a time”(번역: 한 번에 충분히 많은 요청을 배치로 묶어야 한다)이라고 설명하며, 요청마다의 KV 캐시가 몇 개를 담을 수 있는지를 결정합니다. 메모리 관리를 개선한 덕분에 vLLM은 같은 지연 시간에서 이전 시스템보다 2~4배 높은 처리량을 달성했습니다.
왜 중요한가
API 호출자에게 처리량은 파이프의 내 쪽 이야기입니다. 시간당 문서를 몇 개 처리할 수 있는지, 에이전트 몇 개가 동시에 일할 수 있는지입니다. 간단한 규칙을 따릅니다.
your throughput ≈ concurrent requests × per-stream tokens per second
즉 내 처리량은 동시 요청 수에 스트림당 초당 토큰 수를 곱한 값과 비슷합니다.
이 식은 부하를 늘려도 제공업체가 스트림당 속도를 유지할 때만 성립합니다. 가정하지 말고 측정하세요.
처리량의 상한은 모델 혼자가 아니라 동시 처리 한도와 속도 제한이 정합니다. 작업이 느리다면, 병렬로 돌릴 수 있는 요청을 하나씩 순서대로 실행하고 있지 않은지 확인하세요.
BroadNet Inference에서는
BroadNet은 시스템 처리량 수치가 아니라 키별 한도를 공개합니다. 플랜 페이지는 플랜 모델인 DeepSeek V4.1 Flash의 일반적인 속도를 초당 약 100토큰 수준으로 안내하며, 다른 모델의 속도는 공개하지 않습니다. 예시로, 스트림마다 그 속도가 나온다면 다음과 같습니다.
| 옵션 | 병렬 요청 | 속도가 유지될 때의 상한 |
|---|---|---|
| 종량제 키 | 4 건(분당 요청 30 건) | 스트림 4 개 × 각 초당 약 100토큰 |
| 시간제 키(Gemma 4 VL 26B) | 스트림 1개, 분당 토큰 300,000 | 공개되지 않음. 직접 측정 |
| 정액 플랜 세션 | 한 번에 요청 1개 | 초당 약 100토큰 |
정액 플랜을 확장하려면 병렬로 일하는 에이전트마다 세션을 하나씩 추가합니다. 무제한 LLM API 세션과 코딩 에이전트 병렬 실행을 참고하세요. 이 속도는 BroadNet이 DeepSeek V4.1 Flash에 대해 밝힌 일반적인 수치이며, 다른 모델이나 부하가 걸린 상황에 대한 보장이 아닙니다.