BroadRouter

LLM 지연 시간: TTFT, 초당 토큰 수, 엔드투엔드 시간의 차이

BroadNet Inference 팀 · 4분 분량 · 게시 · 업데이트

첫 토큰까지의 시간(TTFT)은 첫 출력 토큰이 오기 전까지의 대기 시간입니다. 초당 토큰 수는 그 뒤 답변이 스트리밍되는 속도이고, 엔드투엔드 지연 시간은 전체 시간, 즉 TTFT에 생성 시간(대략 출력 토큰 수 ÷ 사용자당 속도)을 더한 것입니다. 프롬프트 길이와 대기열은 TTFT를, 모델 크기와 부하는 속도를, 답변 길이는 전체 시간을 좌우합니다. 세 가지 모두 p50과 p95로 측정하세요.

“API가 느리다”는 말은 세 가지 다른 뜻일 수 있고, 각각 해결책도 다릅니다. 채팅 사용자는 첫 단어를 기다립니다. 에이전트는 도구 호출 전체를 기다립니다. 배치 작업은 시간당 토큰 수를 신경 씁니다. 이 글은 세 가지 수치를 정의하고, 직접 작성한 코드로 측정하는 방법을 보여 주며, 각 개선책이 실제로 어느 수치를 움직이는지 연결합니다.

TTFT, 초당 토큰 수, 엔드투엔드 지연 시간은 무엇인가요?

NVIDIA의 벤치마킹 가이드가 명확한 정의를 제공하며, 이는 클라이언트에서 관찰할 수 있는 것과 일치합니다.

지표 측정 대상 체감하는 사람 좌우하는 요인
첫 토큰까지의 시간(TTFT) 요청 전송 → 첫 토큰 수신 채팅 사용자 네트워크, 대기열, 프롬프트 길이(프리필), 캐시 적중
토큰 간 지연 시간(ITL) 토큰 사이의 평균 간격 스트리밍되는 답변을 읽는 사람 모델 크기, 하드웨어, 서버 부하
사용자당 초당 토큰 수 첫 토큰 이후의 출력 토큰 수 ÷ 생성 시간(첫 토큰부터 마지막 토큰까지). 평균 ITL의 역수(1 ÷ ITL)와 같음 읽는 사람, 에이전트 ITL과 같음
엔드투엔드 지연 시간 요청 전송 → 마지막 토큰 수신 에이전트, API, 배치 TTFT + 생성 시간

이들을 묶는 공식은 다음과 같습니다.

엔드투엔드 ≈ TTFT + (출력 토큰 수 − 1) × ITL ≈ TTFT + 출력 토큰 수 ÷ 사용자당 초당 토큰 수

사용자당 속도는 서버가 모든 사용자에게 만들어 내는 토큰의 총량인 서버 처리량과 같지 않습니다. 제공업체는 한쪽을 올리면서 다른 쪽이 떨어지게 할 수 있습니다.

BroadNet이 플랜 모델에 대해 공개한 일반적인 속도인 초당 약 100토큰를 기준으로 생각해 봅시다. 생성 시간은 답변 길이에 비례하므로 4,000토큰짜리 코드 파일은 50토큰짜리 분류보다 생성에 약 80배 오래 걸리고, TTFT는 둘 다 같습니다. 짧은 답변에서는 TTFT가 대기 시간의 대부분이고, 긴 답변에서는 속도와 길이가 대부분입니다.

추론 모델에는 왜 네 번째 수치가 필요한가요?

DeepSeek V4.1 Flash 같은 추론 모델은 답하기 전에 생각하며, 그 생각도 출력 토큰입니다. 모델이 초당 약 100토큰 속도로 추론에 800토큰을 쓴다면, 통신상의 TTFT가 빨라 보여도 사용자는 그 800토큰이 모두 생성될 때까지 첫 번째로 보이는 단어를 기다립니다. 그러므로 첫 콘텐츠 토큰까지의 시간을 따로 측정하세요. BroadNet Inference에서는 reasoning_effort: "low"로 단순한 단계의 생각을 줄일 수 있습니다. 그 장단점은 추론 가이드에서 설명합니다.

클라이언트에서 지연 시간은 어떻게 측정하나요?

사용자가 있는 곳에서 스트리밍을 켠 상태로 측정하세요. 서버 쪽 타이머는 네트워크와 중간 프록시를 놓칩니다.

import os, time, statistics
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def timed(model, messages, max_tokens=1500):
    t0 = time.perf_counter()
    first = first_content = None
    usage = None
    stream = client.chat.completions.create(
        model=model, messages=messages, max_tokens=max_tokens,
        stream=True, stream_options={"include_usage": True},
    )
    for chunk in stream:
        now = time.perf_counter()
        if chunk.choices:
            if first is None:
                first = now
            if chunk.choices[0].delta.content and first_content is None:
                first_content = now
        if chunk.usage:
            usage = chunk.usage
    end = time.perf_counter()
    out = usage.completion_tokens if usage else 0
    return {
        "ttft": first - t0,
        "ttfct": (first_content or end) - t0,
        "e2e": end - t0,
        "tps": (out - 1) / (end - first) if out > 1 and end > first else 0,
        "prompt_tokens": usage.prompt_tokens if usage else None,
    }

runs = [timed("broadnet/gemma-4-26b-a4b", [{"role": "user", "content": "Summarise SSE in 100 words."}]) for _ in range(50)]
for k in ("ttft", "ttfct", "e2e", "tps"):
    xs = sorted(r[k] for r in runs)
    print(k, "p50", round(statistics.median(xs), 3), "p95", round(xs[int(len(xs) * 0.95) - 1], 3))

공정한 벤치마크를 위한 다섯 가지 규칙:

  1. 프롬프트 길이를 고정하고 그 값을 함께 보고하세요. 프롬프트 토큰 500개일 때와 200,000개일 때의 TTFT는 서로 다른 수치입니다. 토큰 계산기로 테스트 프롬프트를 보내기 전에 길이를 알 수 있습니다.
  2. 출력 길이를 고정하세요. max_tokens와 그 길이를 채우는 프롬프트를 쓰면 초당 토큰 수를 비교할 수 있습니다.
  3. 평균이 아니라 p50과 p95를 보고하세요. 사용자가 기억하는 것은 꼬리 지연입니다.
  4. 실행을 시간대별로 나누세요. 부하는 하루 중에도 달라집니다.
  5. 먼저 워밍업하세요. 첫 호출은 DNS, TLS, 연결 설정 비용을 치릅니다. 클라이언트 하나를 재사용하세요.

각 수치를 실제로 개선하는 방법은 무엇인가요?

개선 대상 방법 이유
TTFT 프롬프트 프리픽스를 줄이거나 캐시 프리필 시간은 프롬프트 길이에 따라 늘어나고, 캐시된 프리픽스는 작업을 건너뜀
TTFT 연결을 유지하고 가까운 지역 사용 설정 시간과 왕복을 없앰
첫 콘텐츠 토큰까지의 시간 추론 강도를 낮추거나, 단순한 단계에는 비추론 모델 사용 답변 전 숨은 생각이 줄어듦
초당 토큰 수 해당 단계에 더 작거나 빠른 모델 사용 디코딩 속도는 모델 크기와 서빙 방식에 달려 있음
엔드투엔드 더 짧은 출력 요청(스키마, 단어 수 제한) 출력 길이가 ITL에 곱해짐
여러 호출의 엔드투엔드 독립적인 호출을 동시 요청 한도 안에서 병렬 실행 호출 하나하나는 같아도 전체 소요 시간이 줄어듦
체감 지연 시간 사용자에게 스트리밍 모델이 쓰는 동안 읽을 수 있음

출력 길이는 가장 과소평가되는 레버입니다. “답을 설명해 주세요” 대신 “이 네 필드를 담은 JSON”을 요청하면 인프라 작업 없이도 생성 시간을 10분의 1 수준으로 줄일 수 있습니다. 여기에는 구조화된 출력이 도움이 됩니다.

캐시 레버는 캐싱을 위한 프롬프트 구조에서 다룹니다. 병렬 처리 레버는 금방 속도 제한에 부딪힙니다. 429 오류 처리를 참고하세요.

프롬프트 길이는 이 균형을 어떻게 바꾸나요?

모델은 쓰기 시작하기 전에 모든 입력 토큰을 처리해야 하므로, TTFT는 프롬프트 길이에 따라 늘어납니다. 이것이 매우 긴 프롬프트의 숨은 비용이며, 긴 컨텍스트와 RAG 사이의 선택에도 영향을 줍니다. 100만 토큰짜리 프롬프트는 RAG로 답하지 못하는 질문에도 답하지만, 시작이 더 느립니다. 대화형 속도가 중요하다면 자주 쓰는 경로는 짧게 유지하고, 질문에 필요할 때만 큰 컨텍스트를 보내세요.

BroadNet Inference는 어디에 적합한가요?

BroadNet은 플랜 모델의 일반적인 속도를 초당 약 100토큰 수준으로 공개하고 표준 SSE 형식으로 스트리밍하므로, 위 코드를 그대로 쓸 수 있습니다. TTFT 수치나 지연 시간 SLA는 공개하지 않으므로, 결정하기 전에 여러분의 프롬프트로 직접 측정하세요. $1 요금의 Meteor 1시간이면 50회 벤치마크에 충분하고, 시작 크레딧으로 Gemma 4 VL 26B에서 한 번 돌려 볼 수 있습니다. 대규모로 1초 미만의 지연 시간을 보장받아야 한다면 신중하게 테스트하세요. 종량제 키는 동시 요청을 4개까지 허용하므로, 대량의 실시간 서비스보다는 앱과 에이전트에 더 맞습니다. 모델과 가격은 모델과 가격 페이지에 있습니다.

자주 묻는 질문

LLM API의 첫 토큰까지의 시간(TTFT)은 어느 정도면 좋은가요?

채팅에서는 짧은 프롬프트 기준 약 1초 미만이면 반응이 빠르게 느껴집니다. 긴 프롬프트와 추론 모델은 구조상 더 오래 걸립니다. TTFT는 같은 프롬프트 길이와 같은 모델에서만 비교하세요.

초당 토큰 수와 처리량은 같은 말인가요?

꼭 그렇지는 않습니다. 사용자당 초당 토큰 수는 답변 하나가 스트리밍되는 속도입니다. 처리량은 서버가 모든 사용자에게 만들어 내는 토큰의 총량입니다. 제공업체는 사용자 한 명의 속도가 떨어지는 동안에도 전체 처리량을 올릴 수 있습니다.

추론 모델은 왜 TTFT가 그렇게 긴가요?

모델이 보이는 답변 전에 숨겨진 추론 토큰을 생성하기 때문입니다. 첫 토큰은 빨리 올 수 있지만, 첫 콘텐츠 토큰은 생각이 끝날 때까지 기다립니다. 단순한 작업에는 reasoning_effort를 낮추세요.

스트리밍하면 지연 시간이 줄어드나요?

엔드투엔드 시간은 줄지 않습니다. 대신 답변이 작성되는 동안 사용자가 읽을 수 있으므로, 체감 지연 시간은 대략 TTFT 수준으로 줄어듭니다.

믿을 만한 지연 시간 벤치마크에는 요청이 몇 개나 필요한가요?

꼬리 지연을 볼 수 있을 만큼 필요합니다. 프롬프트 크기별로 50~100개 요청이면 쓸 만한 p95가 나옵니다. 부하가 달라지므로 하루에 걸쳐 나눠서 보내세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기