BroadRouter

프리필과 디코드(prefill and decode)

업데이트

프리필과 디코드(prefill and decode)는 LLM 추론의 두 단계입니다. 프리필에서 모델은 프롬프트 전체를 병렬로 처리해 KV 캐시를 채우고, 디코드에서는 그 캐시를 재사용하며 답변을 토큰 하나씩 생성합니다. 프리필은 주로 첫 토큰까지의 시간을, 디코드는 출력 속도를 결정합니다.

다른 이름: 프리필, 디코드, 프리필 단계, 디코드 단계, 디코딩 단계, 프롬프트 처리, prefill, prefill phase, decode phase, prefill stage, prompt processing

채팅 요청 하나는 서로 다른 두 가지 일을 합니다. 프롬프트를 읽고, 답변을 씁니다. 추론 엔지니어는 이를 프리필과 디코드라고 부르며, 두 단계는 GPU에서 매우 다르게 동작합니다.

작동 방식

  1. 프리필(prefill). 모델이 모든 프롬프트 토큰을 한 번의 병렬 패스로 읽고, 각 토큰의 어텐션 키와 값을 KV 캐시에 저장합니다. 아직 아무것도 반환하지 않습니다.
  2. 디코드(decode). 모델이 토큰 하나를 생성하고 그 키와 값을 캐시에 추가하는 과정을, 멈추거나 max_tokens에 도달할 때까지 반복합니다.

Sarathi-Serve 논문은 그 차이를 분명하게 설명합니다. “Prefill iterations have high latency but saturate GPU compute due to parallel processing of the input prompt”(번역: 프리필 반복은 지연 시간이 길지만 입력 프롬프트를 병렬로 처리하므로 GPU 연산을 포화시킵니다)인 반면 “decode iterations have low latency but also low compute utilization.”(번역: 디코드 반복은 지연 시간이 짧지만 연산 활용도도 낮습니다)

두 단계는 사용자가 체감하는 두 가지 지연 시간 수치에 대응합니다. DistServe 논문은 이를 “time to first token (TTFT) for the prefill phase and time per output token (TPOT) of each request for the decoding phase.”(번역: 프리필 단계의 첫 토큰까지의 시간(TTFT)과 디코딩 단계의 요청별 출력 토큰당 시간(TPOT))라고 부릅니다.

예를 들어 프롬프트가 20,000토큰이고 답변이 300토큰인 요청은 첫 스트리밍 토큰이 나오기 전에 20,000토큰 전체의 프리필을 마치고, 이어서 300번의 순차적 디코드 단계를 거칩니다. 프롬프트를 절반으로 줄이면 첫 토큰을 기다리는 시간은 짧아지지만, 300토큰이 도착하는 속도는 바뀌지 않습니다.

왜 중요한가

  • 첫 토큰까지의 시간은 프롬프트 크기를 따라갑니다. 긴 시스템 프롬프트, 문서, 도구 목록은 모두 프리필 작업을 늘립니다. 캐시된 접두부는 그 일부를 건너뛰므로 캐시된 입력 토큰이 있으면 긴 프롬프트도 더 빨리 시작할 수 있습니다.
  • 초당 토큰 수는 디코드 수치입니다. 출력 속도는 각 디코드 단계가 얼마나 빨리 실행되는지에 달려 있으며, 추측 디코딩은 이를 높이려는 기법입니다.
  • 두 단계는 서로 간섭합니다. 서버가 같은 GPU에서 두 단계를 모두 실행하면 큰 프리필 하나가 다른 사용자의 디코드를 멈출 수 있습니다. DistServe는 “strong prefill-decoding interferences”(번역: 강한 프리필-디코딩 간섭)를 보고하고 두 단계를 서로 다른 GPU로 분리합니다. Sarathi-Serve는 대신 “splits a prefill request into near equal sized chunks”(번역: 프리필 요청을 거의 같은 크기의 청크로 나누고) 이를 “without pausing ongoing decodes”(번역: 진행 중인 디코드를 멈추지 않고) 스케줄링합니다.
  • 엔진이 이 절충을 노출합니다. vLLM 튜닝 가이드에 따르면 chunked prefill을 쓰면 프리필 청크를 디코드 요청과 함께 배치로 처리할 수 있습니다. max_num_batched_tokens를 작게 하면 토큰 간 지연 시간이 개선되고, 크게 하면 TTFT와 처리량에 유리합니다.

지연 시간, TTFT, 처리량 가이드는 클라이언트 쪽에서 두 단계를 측정하는 방법을 보여 줍니다.

BroadNet Inference에서는

BroadNet은 서버가 프리필과 디코드를 어떻게 스케줄링하는지 공개하지 않습니다. 볼 수 있는 것은 그 결과입니다. 스트리밍 가이드처럼 응답을 스트리밍하고, 첫 콘텐츠 청크까지의 시간(대부분 프리필과 대기열)과 그 이후의 청크 속도(디코드)를 기록하세요. GLM 5.3, DeepSeek V4.1 Flash, Qwen3.8 27B에서는 추론(reasoning) 토큰도 디코드에서 생성되므로, 보이는 답변을 늦추고 max_tokens에 포함됩니다.

흔한 실수

  • 첫 토큰이 느린 원인을 모델의 출력 속도 탓으로 돌리는 것. 먼저 프롬프트 길이를 확인하세요.
  • 아주 짧은 프롬프트로 벤치마크하는 것. 긴 컨텍스트가 담긴 실제 프롬프트는 프리필이 훨씬 깁니다.

자주 묻는 질문

프롬프트가 길면 왜 첫 토큰이 느려지나요?

모델이 무언가를 쓰기 전에 모든 프롬프트 토큰이 프리필을 거쳐야 하기 때문입니다. 프롬프트가 길수록 프리필 작업이 늘어나므로, 프롬프트 일부를 캐시에서 제공하지 않는 한 첫 토큰까지의 시간은 프롬프트 길이에 따라 늘어납니다.

답변이 길면 첫 토큰도 늦어지나요?

아닙니다. 첫 토큰은 프롬프트의 프리필을 기다립니다. 긴 답변은 첫 토큰이 도착한 뒤의 디코드 단계만 늘립니다.

chunked prefill이란 무엇인가요?

긴 프롬프트를 조각으로 나눠 진행 중인 디코드 단계와 섞어 처리하는 스케줄링 방식으로, 큰 프롬프트 하나가 다른 사용자를 멈추지 않게 합니다. vLLM은 가능한 경우 이를 기본으로 켭니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기