지연 시간은 사용자가 직접 체감하는 숫자입니다. 데모에서 프로덕션으로 넘어가는 팀을 가장 자주 놀라게 하는 숫자이기도 합니다.
작동 방식
NVIDIA의 지표 가이드는 요청 하나에 대한 핵심 공식을 이렇게 제시합니다.
e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)
즉 엔드투엔드 지연 시간은 TTFT에 생성 시간을 더한 값이고, 토큰 간 지연 시간(ITL)은 엔드투엔드 지연 시간에서 TTFT를 뺀 값을 출력 토큰 수에서 1을 뺀 값으로 나눈 것입니다.
첫 토큰까지의 시간에는 네트워크, 대기열, 프롬프트 읽기가 포함됩니다. 생성 시간은 첫 토큰 이후의 모든 시간으로, (출력 토큰 수 − 1) × 토큰 간 지연 시간(ITL)이며, 긴 응답이라면 대략 출력 토큰 수 × ITL입니다. NVIDIA에 따르면 엔드투엔드 지연 시간은 “includes queueing, batching, and network latency”(번역: 대기열, 배칭, 네트워크 지연 시간을 포함한다)입니다.
어림수로 계산해 보겠습니다. 모델이 초당 출력 토큰 50개를 스트리밍한다고 하면, 600토큰짜리 응답은 생성에 600 ÷ 50 = 12초가 걸립니다. TTFT 1초를 더하면 요청 하나에 약 13초입니다. 응답을 절반으로 줄이면 6초를 아끼고, TTFT를 절반으로 줄이면 0.5초를 아낍니다. 이 경우에는 출력 길이가 지배적입니다.
애플리케이션에서 요청이 혼자인 경우는 드뭅니다. 사용자 화면에서 느끼는 지연 시간에는 오류 후 재시도, 동시 실행 슬롯을 기다리는 시간, 모델 턴 사이의 도구 호출, 직접 작성한 코드의 처리 시간도 들어갑니다.
왜 중요한가
OpenAI의 지연 시간 가이드는 7가지 원칙을 제시합니다. 토큰을 더 빨리 처리하기, 생성하는 토큰 줄이기, 입력 토큰 줄이기, 요청 수 줄이기, 병렬화하기, 사용자가 덜 기다리게 하기, 그리고 무조건 LLM부터 쓰지 않기입니다. 대부분은 제공업체 선택이 아니라 설계 선택입니다.
백분위수로 보고하세요. p50이 4초인데 p95가 30초라면 사용자 20명 중 1명은 30초 이상 기다린다는 뜻입니다. 평균은 이 꼬리를 숨기고, 타임아웃은 이 꼬리에 맞춰 정해집니다.
지연 시간과 처리량은 서로 반대 방향으로 당깁니다. NVIDIA에 따르면 동시 요청이 늘수록 시스템 전체의 초당 토큰 수는 늘지만 사용자당 초당 토큰 수는 줄어듭니다. 붐비는 제공업체는 더 많은 사람을 처리하면서도 각 사용자에게는 더 느리게 느껴질 수 있습니다.
BroadNet Inference에서는
BroadNet 플랜 페이지는 일반적인 속도를 초당 약 100토큰 수준으로 안내합니다. 문서에는 TTFT나 백분위수 지연 시간 수치가 공개되어 있지 않습니다. 종량제 키는 동시 처리 4 건까지 허용하며, 문서는 HTTP 429의 원인 가운데 하나로 동시 실행 한도를 꼽습니다. 429 이후의 재시도는 모두 클라이언트 쪽 지연 시간을 늘립니다. 오래 실행되는 에이전트는 타임아웃과 횟수에 상한을 둔 재시도를 설정해야 합니다. 오래 실행되는 에이전트의 타임아웃과 재시도를 참고하세요. 클라이언트에서 각 구간을 측정하는 방법은 LLM 지연 시간 가이드에 있습니다.