---
title: "LLM 지연 시간 정리: TTFT, 초당 토큰, 엔드투엔드 | BroadRouter"
description: "첫 토큰까지의 시간(TTFT), 초당 토큰 수, 엔드투엔드 지연 시간이 각각 무엇을 재는지, 클라이언트에서 코드로 측정하는 방법, 어떤 개선이 어떤 수치를 움직이는지 설명합니다."
url: https://broadrouter.com/ko/blog/llm-latency-ttft-throughput/
lang: ko
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/blog/llm-latency-ttft-throughput/) (2026-11-16 업데이트).

# LLM 지연 시간: TTFT, 초당 토큰 수, 엔드투엔드 시간의 차이

BroadNet Inference 팀 · 4분 분량 · 게시 2026-11-14 · 업데이트 2026-11-16

첫 토큰까지의 시간(TTFT)은 첫 출력 토큰이 오기 전까지의 대기 시간입니다. 초당 토큰 수는 그 뒤 답변이 스트리밍되는 속도이고, 엔드투엔드 지연 시간은 전체 시간, 즉 TTFT에 생성 시간(대략 출력 토큰 수 ÷ 사용자당 속도)을 더한 것입니다. 프롬프트 길이와 대기열은 TTFT를, 모델 크기와 부하는 속도를, 답변 길이는 전체 시간을 좌우합니다. 세 가지 모두 p50과 p95로 측정하세요.

## 핵심 요약

-   엔드투엔드 지연 시간 ≈ TTFT + (출력 토큰 수 − 1) × 토큰 간 지연 시간, 즉 대략 TTFT + 출력 토큰 수 ÷ 사용자당 초당 토큰 수입니다. 긴 답변에서는 속도와 길이가, 짧은 답변에서는 TTFT가 대부분을 차지합니다.
-   추론 모델에서는 생각이 끝난 뒤에야 첫 번째로 보이는 토큰이 나오므로, 첫 콘텐츠 토큰까지의 시간을 첫 토큰까지의 시간과 따로 측정하세요.
-   모델이 프롬프트 전체를 먼저 읽어야 하므로 긴 프롬프트는 TTFT를 늘립니다. 캐시된 프리픽스는 대개 도움이 됩니다.
-   초당 약 100토큰 속도에서는 생성 시간이 답변 길이에 비례해 늘어납니다. 출력 토큰이 10배면 스트리밍 시간도 약 10배입니다.
-   p50과 p95를 프롬프트 길이와 함께 보고하세요. 프롬프트 크기 없는 평균값은 비교할 수 없습니다.

**이 페이지의 내용**

1.  TTFT, 초당 토큰 수, 엔드투엔드 지연 시간은 무엇인가요?
2.  추론 모델에는 왜 네 번째 수치가 필요한가요?
3.  클라이언트에서 지연 시간은 어떻게 측정하나요?
4.  각 수치를 실제로 개선하는 방법은 무엇인가요?
5.  프롬프트 길이는 이 균형을 어떻게 바꾸나요?
6.  BroadNet Inference는 어디에 적합한가요?

“API가 느리다”는 말은 세 가지 다른 뜻일 수 있고, 각각 해결책도 다릅니다. 채팅 사용자는 첫 단어를 기다립니다. 에이전트는 도구 호출 전체를 기다립니다. 배치 작업은 시간당 토큰 수를 신경 씁니다. 이 글은 세 가지 수치를 정의하고, 직접 작성한 코드로 측정하는 방법을 보여 주며, 각 개선책이 실제로 어느 수치를 움직이는지 연결합니다.

## TTFT, 초당 토큰 수, 엔드투엔드 지연 시간은 무엇인가요?

NVIDIA의 벤치마킹 가이드가 명확한 정의를 제공하며, 이는 클라이언트에서 관찰할 수 있는 것과 일치합니다.

| 지표 | 측정 대상 | 체감하는 사람 | 좌우하는 요인 |
| --- | --- | --- | --- |
| [첫 토큰까지의 시간](https://broadrouter.com/ko/glossary/time-to-first-token/)(TTFT) | 요청 전송 → 첫 토큰 수신 | 채팅 사용자 | 네트워크, 대기열, 프롬프트 길이(프리필), 캐시 적중 |
| 토큰 간 지연 시간(ITL) | 토큰 사이의 평균 간격 | 스트리밍되는 답변을 읽는 사람 | 모델 크기, 하드웨어, 서버 부하 |
| 사용자당 [초당 토큰 수](https://broadrouter.com/ko/glossary/tokens-per-second/) | 첫 토큰 이후의 출력 토큰 수 ÷ 생성 시간(첫 토큰부터 마지막 토큰까지). 평균 ITL의 역수(1 ÷ ITL)와 같음 | 읽는 사람, 에이전트 | ITL과 같음 |
| 엔드투엔드 지연 시간 | 요청 전송 → 마지막 토큰 수신 | 에이전트, API, 배치 | TTFT + 생성 시간 |

이들을 묶는 공식은 다음과 같습니다.

**엔드투엔드 ≈ TTFT + (출력 토큰 수 − 1) × ITL ≈ TTFT + 출력 토큰 수 ÷ 사용자당 초당 토큰 수**

사용자당 속도는 서버가 모든 사용자에게 만들어 내는 토큰의 총량인 서버 [처리량](https://broadrouter.com/ko/glossary/throughput/)과 같지 않습니다. 제공업체는 한쪽을 올리면서 다른 쪽이 떨어지게 할 수 있습니다.

BroadNet이 플랜 모델에 대해 공개한 일반적인 속도인 초당 약 100토큰를 기준으로 생각해 봅시다. 생성 시간은 답변 길이에 비례하므로 4,000토큰짜리 코드 파일은 50토큰짜리 분류보다 생성에 약 80배 오래 걸리고, TTFT는 둘 다 같습니다. 짧은 답변에서는 TTFT가 대기 시간의 대부분이고, 긴 답변에서는 속도와 길이가 대부분입니다.

## 추론 모델에는 왜 네 번째 수치가 필요한가요?

[DeepSeek V4.1 Flash](https://broadrouter.com/ko/models/deepseek-v4.1-flash/) 같은 추론 모델은 답하기 전에 생각하며, 그 생각도 출력 토큰입니다. 모델이 초당 약 100토큰 속도로 추론에 800토큰을 쓴다면, 통신상의 TTFT가 빨라 보여도 사용자는 그 800토큰이 모두 생성될 때까지 첫 번째로 보이는 단어를 기다립니다. 그러므로 **첫 콘텐츠 토큰까지의 시간**을 따로 측정하세요. BroadNet Inference에서는 `reasoning_effort: "low"`로 단순한 단계의 생각을 줄일 수 있습니다. 그 장단점은 [추론 가이드](https://broadrouter.com/ko/guides/reasoning-tokens-empty-response/)에서 설명합니다.

## 클라이언트에서 지연 시간은 어떻게 측정하나요?

사용자가 있는 곳에서 [스트리밍](https://broadrouter.com/ko/glossary/streaming/)을 켠 상태로 측정하세요. 서버 쪽 타이머는 네트워크와 중간 프록시를 놓칩니다.

```python
import os, time, statistics
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def timed(model, messages, max_tokens=1500):
    t0 = time.perf_counter()
    first = first_content = None
    usage = None
    stream = client.chat.completions.create(
        model=model, messages=messages, max_tokens=max_tokens,
        stream=True, stream_options={"include_usage": True},
    )
    for chunk in stream:
        now = time.perf_counter()
        if chunk.choices:
            if first is None:
                first = now
            if chunk.choices[0].delta.content and first_content is None:
                first_content = now
        if chunk.usage:
            usage = chunk.usage
    end = time.perf_counter()
    out = usage.completion_tokens if usage else 0
    return {
        "ttft": first - t0,
        "ttfct": (first_content or end) - t0,
        "e2e": end - t0,
        "tps": (out - 1) / (end - first) if out > 1 and end > first else 0,
        "prompt_tokens": usage.prompt_tokens if usage else None,
    }

runs = [timed("broadnet/gemma-4-26b-a4b", [{"role": "user", "content": "Summarise SSE in 100 words."}]) for _ in range(50)]
for k in ("ttft", "ttfct", "e2e", "tps"):
    xs = sorted(r[k] for r in runs)
    print(k, "p50", round(statistics.median(xs), 3), "p95", round(xs[int(len(xs) * 0.95) - 1], 3))
```

공정한 벤치마크를 위한 다섯 가지 규칙:

1.  **프롬프트 길이를 고정하고** 그 값을 함께 보고하세요. 프롬프트 토큰 500개일 때와 200,000개일 때의 TTFT는 서로 다른 수치입니다. [토큰 계산기](https://broadrouter.com/tools/token-counter/)로 테스트 프롬프트를 보내기 전에 길이를 알 수 있습니다.
2.  **출력 길이를 고정하세요.** `max_tokens`와 그 길이를 채우는 프롬프트를 쓰면 초당 토큰 수를 비교할 수 있습니다.
3.  평균이 아니라 **p50과 p95를 보고하세요.** 사용자가 기억하는 것은 꼬리 지연입니다.
4.  **실행을 시간대별로 나누세요.** 부하는 하루 중에도 달라집니다.
5.  **먼저 워밍업하세요.** 첫 호출은 DNS, TLS, 연결 설정 비용을 치릅니다. 클라이언트 하나를 재사용하세요.

## 각 수치를 실제로 개선하는 방법은 무엇인가요?

| 개선 대상 | 방법 | 이유 |
| --- | --- | --- |
| TTFT | 프롬프트 프리픽스를 줄이거나 캐시 | 프리필 시간은 프롬프트 길이에 따라 늘어나고, 캐시된 프리픽스는 작업을 건너뜀 |
| TTFT | 연결을 유지하고 가까운 지역 사용 | 설정 시간과 왕복을 없앰 |
| 첫 콘텐츠 토큰까지의 시간 | 추론 강도를 낮추거나, 단순한 단계에는 비추론 모델 사용 | 답변 전 숨은 생각이 줄어듦 |
| 초당 토큰 수 | 해당 단계에 더 작거나 빠른 모델 사용 | 디코딩 속도는 모델 크기와 서빙 방식에 달려 있음 |
| 엔드투엔드 | 더 짧은 출력 요청(스키마, 단어 수 제한) | 출력 길이가 ITL에 곱해짐 |
| 여러 호출의 엔드투엔드 | 독립적인 호출을 [동시 요청](https://broadrouter.com/ko/glossary/concurrency/) 한도 안에서 병렬 실행 | 호출 하나하나는 같아도 전체 소요 시간이 줄어듦 |
| 체감 지연 시간 | 사용자에게 스트리밍 | 모델이 쓰는 동안 읽을 수 있음 |

출력 길이는 가장 과소평가되는 레버입니다. “답을 설명해 주세요” 대신 “이 네 필드를 담은 JSON”을 요청하면 인프라 작업 없이도 생성 시간을 10분의 1 수준으로 줄일 수 있습니다. 여기에는 [구조화된 출력](https://broadrouter.com/ko/glossary/structured-output/)이 도움이 됩니다.

캐시 레버는 [캐싱을 위한 프롬프트 구조](https://broadrouter.com/ko/blog/prompt-structure-for-caching/)에서 다룹니다. 병렬 처리 레버는 금방 속도 제한에 부딪힙니다. [429 오류 처리](https://broadrouter.com/ko/blog/handle-llm-api-429-rate-limits/)를 참고하세요.

## 프롬프트 길이는 이 균형을 어떻게 바꾸나요?

모델은 쓰기 시작하기 전에 모든 입력 토큰을 처리해야 하므로, TTFT는 프롬프트 길이에 따라 늘어납니다. 이것이 매우 긴 프롬프트의 숨은 비용이며, [긴 컨텍스트와 RAG](https://broadrouter.com/ko/blog/long-context-vs-rag/) 사이의 선택에도 영향을 줍니다. 100만 토큰짜리 프롬프트는 RAG로 답하지 못하는 질문에도 답하지만, 시작이 더 느립니다. 대화형 속도가 중요하다면 자주 쓰는 경로는 짧게 유지하고, 질문에 필요할 때만 큰 컨텍스트를 보내세요.

## BroadNet Inference는 어디에 적합한가요?

BroadNet은 플랜 모델의 일반적인 속도를 초당 약 100토큰 수준으로 공개하고 표준 SSE 형식으로 스트리밍하므로, 위 코드를 그대로 쓸 수 있습니다. TTFT 수치나 지연 시간 SLA는 공개하지 않으므로, 결정하기 전에 여러분의 프롬프트로 직접 측정하세요. $1 요금의 [Meteor 1시간](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-llm-latency-ttft-throughput&utm_content=body)이면 50회 벤치마크에 충분하고, 시작 크레딧으로 Gemma 4 VL 26B에서 한 번 돌려 볼 수 있습니다. 대규모로 1초 미만의 지연 시간을 보장받아야 한다면 신중하게 테스트하세요. 종량제 키는 동시 요청을 4개까지 허용하므로, 대량의 실시간 서비스보다는 앱과 에이전트에 더 맞습니다. 모델과 가격은 [모델](https://broadrouter.com/ko/models/)과 [가격](https://broadrouter.com/ko/pricing/) 페이지에 있습니다.

관련 무료 도구 (영어)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[무료 도구 (영어)](https://broadrouter.com/tools/)

## 이 글의 용어

[첫 토큰까지의 시간(TTFT)](https://broadrouter.com/ko/glossary/time-to-first-token/)

첫 토큰까지의 시간(TTFT)은 언어 모델에 요청을 보낸 시점부터 첫 출력 토큰이 도착할 때까지의 시간입니다. 네트워크 시간, 서버의 대기열 시간, 그리고 모델이 프롬프트 전체를 읽는 단계인 프리필(prefill)이 포함되므로, 프롬프트가 길고 부하가 클수록 늘어납니다.

[초당 토큰 수(TPS, tokens per second)](https://broadrouter.com/ko/glossary/tokens-per-second/)

초당 토큰 수(TPS)는 언어 모델이 출력 토큰을 생성하는 속도로, 보통 요청 하나에 대해 첫 토큰이 도착한 뒤부터 잽니다. 응답이 시작된 뒤 얼마나 빨리 스트리밍되는지를 결정합니다. 모든 동시 요청을 합하면 시스템 처리량이 되며, 첫 토큰 전의 대기 시간은 따로 측정합니다.

[입력 토큰과 출력 토큰(input and output tokens)](https://broadrouter.com/ko/glossary/input-and-output-tokens/)

입력 토큰은 언어 모델이 요청에서 읽는 토큰으로, 시스템 프롬프트, 대화 기록, 도구 정의, 이미지가 포함됩니다. 출력 토큰은 모델이 응답으로 생성하는 토큰으로, 추론도 포함됩니다. LLM API는 보통 둘에 따로 가격을 매기며, 대개 출력이 더 비쌉니다.

[동시 처리(concurrency)](https://broadrouter.com/ko/glossary/concurrency/)

동시 처리(concurrency)는 클라이언트가 같은 시점에 진행 중인 요청 수입니다. LLM API는 분당 요청 수와 별도로 키나 플랜마다 이를 제한하는 경우가 많습니다. 열려 있는 요청은 응답이 끝날 때까지 GPU 용량을 차지하기 때문입니다.

[종량제(Pay-as-you-go)](https://broadrouter.com/ko/glossary/pay-as-you-go/)

종량제(pay-as-you-go)는 구독이나 최소 약정 없이 토큰, 요청, 오디오 분 같은 단위로 사용량을 측정해 쓴 만큼만 내는 요금 방식입니다. 대부분의 LLM API가 선불 잔액에서 차감하거나 정기 청구서를 발행하는 식으로 이렇게 과금합니다.

[지연 시간(latency)](https://broadrouter.com/ko/glossary/latency/)

언어 모델 API에서 지연 시간(latency)은 요청을 보낸 시점부터 마지막 출력 토큰을 받을 때까지 걸리는 시간입니다. 첫 토큰까지의 시간(TTFT)과 생성 시간을 더한 값이며, 보통 평균이 아니라 p50, p95 같은 백분위수로 보고합니다.

[프리필과 디코드(prefill and decode)](https://broadrouter.com/ko/glossary/prefill-and-decode/)

프리필과 디코드(prefill and decode)는 LLM 추론의 두 단계입니다. 프리필에서 모델은 프롬프트 전체를 병렬로 처리해 KV 캐시를 채우고, 디코드에서는 그 캐시를 재사용하며 답변을 토큰 하나씩 생성합니다. 프리필은 주로 첫 토큰까지의 시간을, 디코드는 출력 속도를 결정합니다.

[AI 에이전트(AI agent)](https://broadrouter.com/ko/glossary/agent/)

AI 에이전트는 언어 모델이 목표를 향해 스스로 단계를 정하는 시스템입니다. 어떤 도구를 호출할지 결정하고, 결과를 읽고, 최종 답변을 내거나 한도에 닿을 때까지 이를 반복합니다. 정해진 지점에서 모델을 호출하는 고정된 스크립트는 보통 워크플로라고 부릅니다.

## 자주 묻는 질문

### LLM API의 첫 토큰까지의 시간(TTFT)은 어느 정도면 좋은가요?

채팅에서는 짧은 프롬프트 기준 약 1초 미만이면 반응이 빠르게 느껴집니다. 긴 프롬프트와 추론 모델은 구조상 더 오래 걸립니다. TTFT는 같은 프롬프트 길이와 같은 모델에서만 비교하세요.

### 초당 토큰 수와 처리량은 같은 말인가요?

꼭 그렇지는 않습니다. 사용자당 초당 토큰 수는 답변 하나가 스트리밍되는 속도입니다. 처리량은 서버가 모든 사용자에게 만들어 내는 토큰의 총량입니다. 제공업체는 사용자 한 명의 속도가 떨어지는 동안에도 전체 처리량을 올릴 수 있습니다.

### 추론 모델은 왜 TTFT가 그렇게 긴가요?

모델이 보이는 답변 전에 숨겨진 추론 토큰을 생성하기 때문입니다. 첫 토큰은 빨리 올 수 있지만, 첫 콘텐츠 토큰은 생각이 끝날 때까지 기다립니다. 단순한 작업에는 reasoning\_effort를 낮추세요.

### 스트리밍하면 지연 시간이 줄어드나요?

엔드투엔드 시간은 줄지 않습니다. 대신 답변이 작성되는 동안 사용자가 읽을 수 있으므로, 체감 지연 시간은 대략 TTFT 수준으로 줄어듭니다.

### 믿을 만한 지연 시간 벤치마크에는 요청이 몇 개나 필요한가요?

꼬리 지연을 볼 수 있을 만큼 필요합니다. 프롬프트 크기별로 50~100개 요청이면 쓸 만한 p95가 나옵니다. 부하가 달라지므로 하루에 걸쳐 나눠서 보내세요.

## 이어서 읽기

-   [LLM 스트리밍 원리: SSE 청크, 델타, usage, 취소](https://broadrouter.com/ko/blog/llm-streaming-sse-explained/)
-   [접두부가 캐시되도록 프롬프트를 구성하는 방법](https://broadrouter.com/ko/blog/prompt-structure-for-caching/)
-   [롱 컨텍스트 vs RAG: 100만 토큰이 벡터 DB를 대체할 때](https://broadrouter.com/ko/blog/long-context-vs-rag/)
-   [BroadNet의 GPU 하드웨어와 서빙 방식: BroadNet이 밝힌 내용](https://broadrouter.com/ko/blog/broadnet-gpu-fleet-and-serving/)
-   [LLM API 응답 캐싱으로 비용 줄이기: Python 정확 일치 캐시](https://broadrouter.com/ko/blog/cache-llm-responses-cut-cost/)
-   [가이드: 채팅 완성 스트리밍과 끊긴 연결 처리하기](https://broadrouter.com/ko/guides/streaming-chat-completions/)
-   [가이드: 추론 모델이 빈 답변을 반환하는 이유](https://broadrouter.com/ko/guides/reasoning-tokens-empty-response/)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-llm-latency-ttft-throughput&utm_content=page-cta) ·

**출처**

-   [NVIDIA NIM 벤치마킹 가이드, LLM 지연 시간과 처리량 지표(2026-11-14 확인)](https://docs.nvidia.com/nim/benchmarking/llm/metrics)
-   [BroadNet Inference 플랜, 일반적인 속도 (2026-11-15 확인) (영어)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-llm-latency-ttft-throughput&utm_content=sources)
-   [BroadNet Inference API 레퍼런스, 스트리밍과 추론 (2026-11-15 확인) (영어)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-llm-latency-ttft-throughput&utm_content=sources)
-   [Baseten Inference Engineering, 지연 시간과 처리량 측정(2026-11-16 확인)](https://www.baseten.co/inference-engineering/book/01-prerequisites/measuring-latency-and-throughput/)
