---
title: "LLM 지연 시간이란? 엔드투엔드 응답 시간 정리 | BroadRouter"
description: "LLM 지연 시간은 프롬프트를 보낸 때부터 마지막 토큰을 받을 때까지 걸리는 시간입니다. TTFT와 토큰 간 지연 같은 구성 요소, 백분위수, 지연 시간을 바꾸는 요인을 정리했습니다."
url: https://broadrouter.com/ko/glossary/latency/
lang: ko
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/glossary/latency/) (2026-11-16 업데이트).

# 지연 시간(latency)

업데이트 2026-11-16

언어 모델 API에서 지연 시간(latency)은 요청을 보낸 시점부터 마지막 출력 토큰을 받을 때까지 걸리는 시간입니다. 첫 토큰까지의 시간(TTFT)과 생성 시간을 더한 값이며, 보통 평균이 아니라 p50, p95 같은 백분위수로 보고합니다.

다른 이름: 레이턴시, LLM 지연 시간, 응답 시간, 엔드투엔드 지연 시간, 토큰 간 지연 시간, LLM latency, end-to-end latency, response time, e2e latency, inter-token latency

지연 시간은 사용자가 직접 체감하는 숫자입니다. 데모에서 프로덕션으로 넘어가는 팀을 가장 자주 놀라게 하는 숫자이기도 합니다.

## 작동 방식

NVIDIA의 지표 가이드는 요청 하나에 대한 핵심 공식을 이렇게 제시합니다.

```text
e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)
```

즉 엔드투엔드 지연 시간은 TTFT에 생성 시간을 더한 값이고, 토큰 간 지연 시간(ITL)은 엔드투엔드 지연 시간에서 TTFT를 뺀 값을 출력 토큰 수에서 1을 뺀 값으로 나눈 것입니다.

[첫 토큰까지의 시간](https://broadrouter.com/ko/glossary/time-to-first-token/)에는 네트워크, 대기열, 프롬프트 읽기가 포함됩니다. 생성 시간은 첫 토큰 이후의 모든 시간으로, (출력 토큰 수 − 1) × 토큰 간 지연 시간(ITL)이며, 긴 응답이라면 대략 출력 토큰 수 × ITL입니다. NVIDIA에 따르면 엔드투엔드 지연 시간은 “includes queueing, batching, and network latency”(번역: 대기열, 배칭, 네트워크 지연 시간을 포함한다)입니다.

어림수로 계산해 보겠습니다. 모델이 초당 출력 토큰 50개를 스트리밍한다고 하면, 600토큰짜리 응답은 생성에 600 ÷ 50 = 12초가 걸립니다. TTFT 1초를 더하면 요청 하나에 약 13초입니다. 응답을 절반으로 줄이면 6초를 아끼고, TTFT를 절반으로 줄이면 0.5초를 아낍니다. 이 경우에는 출력 길이가 지배적입니다.

애플리케이션에서 요청이 혼자인 경우는 드뭅니다. 사용자 화면에서 느끼는 지연 시간에는 오류 후 재시도, [동시 실행](https://broadrouter.com/ko/glossary/concurrency/) 슬롯을 기다리는 시간, 모델 턴 사이의 도구 호출, 직접 작성한 코드의 처리 시간도 들어갑니다.

## 왜 중요한가

OpenAI의 지연 시간 가이드는 7가지 원칙을 제시합니다. 토큰을 더 빨리 처리하기, 생성하는 토큰 줄이기, 입력 토큰 줄이기, 요청 수 줄이기, 병렬화하기, 사용자가 덜 기다리게 하기, 그리고 무조건 LLM부터 쓰지 않기입니다. 대부분은 제공업체 선택이 아니라 설계 선택입니다.

백분위수로 보고하세요. p50이 4초인데 p95가 30초라면 사용자 20명 중 1명은 30초 이상 기다린다는 뜻입니다. 평균은 이 꼬리를 숨기고, 타임아웃은 이 꼬리에 맞춰 정해집니다.

지연 시간과 [처리량](https://broadrouter.com/ko/glossary/throughput/)은 서로 반대 방향으로 당깁니다. NVIDIA에 따르면 동시 요청이 늘수록 시스템 전체의 초당 토큰 수는 늘지만 사용자당 초당 토큰 수는 줄어듭니다. 붐비는 제공업체는 더 많은 사람을 처리하면서도 각 사용자에게는 더 느리게 느껴질 수 있습니다.

## BroadNet Inference에서는

BroadNet 플랜 페이지는 일반적인 속도를 초당 약 100토큰 수준으로 안내합니다. 문서에는 TTFT나 백분위수 지연 시간 수치가 공개되어 있지 않습니다. 종량제 키는 동시 처리 4 건까지 허용하며, 문서는 HTTP 429의 원인 가운데 하나로 동시 실행 한도를 꼽습니다. 429 이후의 재시도는 모두 클라이언트 쪽 지연 시간을 늘립니다. 오래 실행되는 에이전트는 타임아웃과 횟수에 상한을 둔 재시도를 설정해야 합니다. [오래 실행되는 에이전트의 타임아웃과 재시도](https://broadrouter.com/ko/blog/long-running-agents-timeouts-retries/)를 참고하세요. 클라이언트에서 각 구간을 측정하는 방법은 [LLM 지연 시간 가이드](https://broadrouter.com/ko/blog/llm-latency-ttft-throughput/)에 있습니다.

## 자주 묻는 질문

### 지연 시간과 처리량은 어떻게 다른가요?

지연 시간은 요청 하나가 걸리는 시간입니다. 처리량은 시스템이 모든 요청을 통틀어 초당 처리하는 작업량입니다. 서버는 더 많은 요청을 묶어 처리해 처리량을 높일 수 있지만, 그만큼 요청 하나하나는 느려집니다.

### 토큰 간 지연 시간(inter-token latency)이란 무엇인가요?

첫 토큰 이후 출력 토큰 사이의 평균 간격으로, 출력 토큰당 시간이라고도 합니다. NVIDIA는 이를 엔드투엔드 지연 시간에서 TTFT를 뺀 값을 출력 토큰 수에서 1을 뺀 값으로 나눈 것으로 정의합니다.

### LLM 지연 시간을 줄이려면 어떻게 해야 하나요?

출력 토큰을 줄이고, 프롬프트를 짧게 보내고, 응답을 스트리밍해 사용자가 텍스트를 더 빨리 보게 하고, 서로 독립적인 호출은 병렬로 실행하세요. OpenAI의 지연 시간 가이드는 이를 7가지 원칙 가운데 일부로 꼽습니다.

## 함께 보기

-   [첫 토큰까지의 시간(TTFT)](https://broadrouter.com/ko/glossary/time-to-first-token/) (용어)
-   [처리량(throughput)](https://broadrouter.com/ko/glossary/throughput/) (용어)
-   [초당 토큰 수(TPS, tokens per second)](https://broadrouter.com/ko/glossary/tokens-per-second/) (용어)
-   [동시 처리(concurrency)](https://broadrouter.com/ko/glossary/concurrency/) (용어)
-   [속도 제한(rate limit)](https://broadrouter.com/ko/glossary/rate-limit/) (용어)
-   [채팅 완성 스트리밍과 끊긴 연결 처리하기](https://broadrouter.com/ko/guides/streaming-chat-completions/) (가이드)
-   [BroadNet Inference 오류 코드와 재시도해야 하는 경우](https://broadrouter.com/ko/guides/errors-and-retries/) (가이드)
-   [LLM 지연 시간: TTFT, 초당 토큰 수, 엔드투엔드 시간의 차이](https://broadrouter.com/ko/blog/llm-latency-ttft-throughput/) (글)
-   [장시간 실행 에이전트: 버티는 타임아웃, 재시도, 체크포인트](https://broadrouter.com/ko/blog/long-running-agents-timeouts-retries/) (글)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-latency&utm_content=page-cta) ·

**출처**

-   [NVIDIA NIM, LLM 벤치마킹 지표(엔드투엔드 지연 시간, 토큰 간 지연 시간)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [OpenAI, 지연 시간 최적화 가이드(7가지 원칙)](https://developers.openai.com/api/docs/guides/latency-optimization)
-   [BroadNet Inference 플랜(일반적인 속도) (영어)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-latency&utm_content=sources)
