속도 제한은 일정 시간 동안의 요청 수를 셉니다. 동시 처리는 한순간의 요청 수를 셉니다. LLM 요청은 수 초씩 걸릴 수 있어서, 두 번째 한도에 먼저 걸리는 경우가 많습니다.
작동 방식
리틀의 법칙은 세 숫자를 연결합니다.
requests in flight = request rate × average time per request
즉 진행 중인 요청 수는 요청 속도에 요청당 평균 소요 시간을 곱한 값입니다.
진행 중인 요청 5개와 분당 요청 60개를 허용하고, 요청 하나가 20초 걸리는 가상의 키를 생각해 봅시다. 동시 처리 한도 때문에 초당 최대 5 ÷ 20 = 0.25개, 즉 분당 15개까지만 가능합니다. 동시 처리가 실제 제약이 되므로 분당 60개에는 절대 도달하지 못합니다. 요청이 2초씩 걸린다면 같은 한도로 분당 150개가 가능하고, 이번에는 속도 제한이 제약이 됩니다. 속도 제한 계산기로 직접 숫자를 넣어 계산해 볼 수 있습니다.
긴 출력, 추론 토큰, 긴 프롬프트는 모두 요청 시간을 늘리므로 동시 처리 한도를 더 빨리 소진합니다. 스트리밍 응답은 끝날 때까지 슬롯을 차지합니다.
왜 중요한가
제공업체가 동시 처리를 제한하는 이유는 GPU 메모리와 연산을 함께 쓰기 때문입니다. NVIDIA 벤치마크에 따르면 서버의 동시 요청이 늘수록 전체 출력량은 늘지만 요청 하나의 초당 토큰 수는 줄어듭니다. 키별 한도는 한 클라이언트가 모두를 느리게 만드는 것을 막습니다.
애플리케이션 입장에서 동시 처리 한도는 워커 풀의 크기와 나란히 돌릴 수 있는 에이전트 수를 정합니다. 풀 크기는 한도에 맞추고 그 이상으로 늘리지 마세요. 초과한 워커는 429 오류만 받게 됩니다.
BroadNet Inference에서는
| 접근 방식 | 동시 처리 |
|---|---|
| 종량제 키 | 진행 중인 요청 최대 4 건, 그리고 분당 요청 30 건 |
| 시간제 키 | 스트림 1개 |
| 무제한 플랜 | 세션당 한 번에 요청 1개 |
플랜은 동시 처리를 직접 판매합니다. 세션에는 토큰 미터가 없고, 에이전트 하나가 일하는 방식처럼 한 번에 요청 하나를 처리합니다. 같은 세션의 요청은 앞 요청 뒤에 줄을 섭니다. 에이전트를 병렬로 돌리려면 에이전트마다 세션을 하나씩 구매하세요. 오케스트레이터와 서브에이전트 세 개라면 세션 4개가 필요합니다. 키 하나에 세션 여러 개를 담을 수 있습니다.
무제한 세션의 작동 방식과 정액제로 코딩 에이전트를 병렬 실행하는 방법을 읽어 보세요. 에이전트는 도구 실행에 많은 시간을 쓰므로, 세션을 더 사기 전에 실제로 얼마나 겹치는지 측정하세요.
흔한 실수
- 풀 없이 작업마다 워커를 하나씩 띄우는 것. 작업 100개짜리 배치가 한꺼번에 요청 100개가 됩니다.
- 긴 추론 응답보다 짧은 클라이언트 타임아웃을 설정하는 것. 슬롯은 여전히 사용 중인데 클라이언트가 먼저 포기합니다.