BroadRouter
시작하기

지연 시간(latency)

업데이트

언어 모델 API에서 지연 시간(latency)은 요청을 보낸 시점부터 마지막 출력 토큰을 받을 때까지 걸리는 시간입니다. 첫 토큰까지의 시간(TTFT)과 생성 시간을 더한 값이며, 보통 평균이 아니라 p50, p95 같은 백분위수로 보고합니다.

다른 이름: 레이턴시, LLM 지연 시간, 응답 시간, 엔드투엔드 지연 시간, 토큰 간 지연 시간, LLM latency, end-to-end latency, response time, e2e latency, inter-token latency

지연 시간은 사용자가 직접 체감하는 숫자입니다. 데모에서 프로덕션으로 넘어가는 팀을 가장 자주 놀라게 하는 숫자이기도 합니다.

작동 방식

NVIDIA의 지표 가이드는 요청 하나에 대한 핵심 공식을 이렇게 제시합니다.

e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)

즉 엔드투엔드 지연 시간은 TTFT에 생성 시간을 더한 값이고, 토큰 간 지연 시간(ITL)은 엔드투엔드 지연 시간에서 TTFT를 뺀 값을 출력 토큰 수에서 1을 뺀 값으로 나눈 것입니다.

첫 토큰까지의 시간에는 네트워크, 대기열, 프롬프트 읽기가 포함됩니다. 생성 시간은 첫 토큰 이후의 모든 시간으로, (출력 토큰 수 − 1) × 토큰 간 지연 시간(ITL)이며, 긴 응답이라면 대략 출력 토큰 수 × ITL입니다. NVIDIA에 따르면 엔드투엔드 지연 시간은 “includes queueing, batching, and network latency”(번역: 대기열, 배칭, 네트워크 지연 시간을 포함한다)입니다.

어림수로 계산해 보겠습니다. 모델이 초당 출력 토큰 50개를 스트리밍한다고 하면, 600토큰짜리 응답은 생성에 600 ÷ 50 = 12초가 걸립니다. TTFT 1초를 더하면 요청 하나에 약 13초입니다. 응답을 절반으로 줄이면 6초를 아끼고, TTFT를 절반으로 줄이면 0.5초를 아낍니다. 이 경우에는 출력 길이가 지배적입니다.

애플리케이션에서 요청이 혼자인 경우는 드뭅니다. 사용자 화면에서 느끼는 지연 시간에는 오류 후 재시도, 동시 실행 슬롯을 기다리는 시간, 모델 턴 사이의 도구 호출, 직접 작성한 코드의 처리 시간도 들어갑니다.

왜 중요한가

OpenAI의 지연 시간 가이드는 7가지 원칙을 제시합니다. 토큰을 더 빨리 처리하기, 생성하는 토큰 줄이기, 입력 토큰 줄이기, 요청 수 줄이기, 병렬화하기, 사용자가 덜 기다리게 하기, 그리고 무조건 LLM부터 쓰지 않기입니다. 대부분은 제공업체 선택이 아니라 설계 선택입니다.

백분위수로 보고하세요. p50이 4초인데 p95가 30초라면 사용자 20명 중 1명은 30초 이상 기다린다는 뜻입니다. 평균은 이 꼬리를 숨기고, 타임아웃은 이 꼬리에 맞춰 정해집니다.

지연 시간과 처리량은 서로 반대 방향으로 당깁니다. NVIDIA에 따르면 동시 요청이 늘수록 시스템 전체의 초당 토큰 수는 늘지만 사용자당 초당 토큰 수는 줄어듭니다. 붐비는 제공업체는 더 많은 사람을 처리하면서도 각 사용자에게는 더 느리게 느껴질 수 있습니다.

BroadNet Inference에서는

BroadNet 플랜 페이지는 일반적인 속도를 초당 약 100토큰 수준으로 안내합니다. 문서에는 TTFT나 백분위수 지연 시간 수치가 공개되어 있지 않습니다. 종량제 키는 동시 처리 4 건까지 허용하며, 문서는 HTTP 429의 원인 가운데 하나로 동시 실행 한도를 꼽습니다. 429 이후의 재시도는 모두 클라이언트 쪽 지연 시간을 늘립니다. 오래 실행되는 에이전트는 타임아웃과 횟수에 상한을 둔 재시도를 설정해야 합니다. 오래 실행되는 에이전트의 타임아웃과 재시도를 참고하세요. 클라이언트에서 각 구간을 측정하는 방법은 LLM 지연 시간 가이드에 있습니다.

자주 묻는 질문

지연 시간과 처리량은 어떻게 다른가요?

지연 시간은 요청 하나가 걸리는 시간입니다. 처리량은 시스템이 모든 요청을 통틀어 초당 처리하는 작업량입니다. 서버는 더 많은 요청을 묶어 처리해 처리량을 높일 수 있지만, 그만큼 요청 하나하나는 느려집니다.

토큰 간 지연 시간(inter-token latency)이란 무엇인가요?

첫 토큰 이후 출력 토큰 사이의 평균 간격으로, 출력 토큰당 시간이라고도 합니다. NVIDIA는 이를 엔드투엔드 지연 시간에서 TTFT를 뺀 값을 출력 토큰 수에서 1을 뺀 값으로 나눈 것으로 정의합니다.

LLM 지연 시간을 줄이려면 어떻게 해야 하나요?

출력 토큰을 줄이고, 프롬프트를 짧게 보내고, 응답을 스트리밍해 사용자가 텍스트를 더 빨리 보게 하고, 서로 독립적인 호출은 병렬로 실행하세요. OpenAI의 지연 시간 가이드는 이를 7가지 원칙 가운데 일부로 꼽습니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기