채팅 요청 하나는 서로 다른 두 가지 일을 합니다. 프롬프트를 읽고, 답변을 씁니다. 추론 엔지니어는 이를 프리필과 디코드라고 부르며, 두 단계는 GPU에서 매우 다르게 동작합니다.
작동 방식
- 프리필(prefill). 모델이 모든 프롬프트 토큰을 한 번의 병렬 패스로 읽고, 각 토큰의 어텐션 키와 값을 KV 캐시에 저장합니다. 아직 아무것도 반환하지 않습니다.
- 디코드(decode). 모델이 토큰 하나를 생성하고 그 키와 값을 캐시에 추가하는 과정을, 멈추거나
max_tokens에 도달할 때까지 반복합니다.
Sarathi-Serve 논문은 그 차이를 분명하게 설명합니다. “Prefill iterations have high latency but saturate GPU compute due to parallel processing of the input prompt”(번역: 프리필 반복은 지연 시간이 길지만 입력 프롬프트를 병렬로 처리하므로 GPU 연산을 포화시킵니다)인 반면 “decode iterations have low latency but also low compute utilization.”(번역: 디코드 반복은 지연 시간이 짧지만 연산 활용도도 낮습니다)
두 단계는 사용자가 체감하는 두 가지 지연 시간 수치에 대응합니다. DistServe 논문은 이를 “time to first token (TTFT) for the prefill phase and time per output token (TPOT) of each request for the decoding phase.”(번역: 프리필 단계의 첫 토큰까지의 시간(TTFT)과 디코딩 단계의 요청별 출력 토큰당 시간(TPOT))라고 부릅니다.
예를 들어 프롬프트가 20,000토큰이고 답변이 300토큰인 요청은 첫 스트리밍 토큰이 나오기 전에 20,000토큰 전체의 프리필을 마치고, 이어서 300번의 순차적 디코드 단계를 거칩니다. 프롬프트를 절반으로 줄이면 첫 토큰을 기다리는 시간은 짧아지지만, 300토큰이 도착하는 속도는 바뀌지 않습니다.
왜 중요한가
- 첫 토큰까지의 시간은 프롬프트 크기를 따라갑니다. 긴 시스템 프롬프트, 문서, 도구 목록은 모두 프리필 작업을 늘립니다. 캐시된 접두부는 그 일부를 건너뛰므로 캐시된 입력 토큰이 있으면 긴 프롬프트도 더 빨리 시작할 수 있습니다.
- 초당 토큰 수는 디코드 수치입니다. 출력 속도는 각 디코드 단계가 얼마나 빨리 실행되는지에 달려 있으며, 추측 디코딩은 이를 높이려는 기법입니다.
- 두 단계는 서로 간섭합니다. 서버가 같은 GPU에서 두 단계를 모두 실행하면 큰 프리필 하나가 다른 사용자의 디코드를 멈출 수 있습니다. DistServe는 “strong prefill-decoding interferences”(번역: 강한 프리필-디코딩 간섭)를 보고하고 두 단계를 서로 다른 GPU로 분리합니다. Sarathi-Serve는 대신 “splits a prefill request into near equal sized chunks”(번역: 프리필 요청을 거의 같은 크기의 청크로 나누고) 이를 “without pausing ongoing decodes”(번역: 진행 중인 디코드를 멈추지 않고) 스케줄링합니다.
- 엔진이 이 절충을 노출합니다. vLLM 튜닝 가이드에 따르면 chunked prefill을 쓰면 프리필 청크를 디코드 요청과 함께 배치로 처리할 수 있습니다.
max_num_batched_tokens를 작게 하면 토큰 간 지연 시간이 개선되고, 크게 하면 TTFT와 처리량에 유리합니다.
지연 시간, TTFT, 처리량 가이드는 클라이언트 쪽에서 두 단계를 측정하는 방법을 보여 줍니다.
BroadNet Inference에서는
BroadNet은 서버가 프리필과 디코드를 어떻게 스케줄링하는지 공개하지 않습니다. 볼 수 있는 것은 그 결과입니다. 스트리밍 가이드처럼 응답을 스트리밍하고, 첫 콘텐츠 청크까지의 시간(대부분 프리필과 대기열)과 그 이후의 청크 속도(디코드)를 기록하세요. GLM 5.3, DeepSeek V4.1 Flash, Qwen3.8 27B에서는 추론(reasoning) 토큰도 디코드에서 생성되므로, 보이는 답변을 늦추고 max_tokens에 포함됩니다.
흔한 실수
- 첫 토큰이 느린 원인을 모델의 출력 속도 탓으로 돌리는 것. 먼저 프롬프트 길이를 확인하세요.
- 아주 짧은 프롬프트로 벤치마크하는 것. 긴 컨텍스트가 담긴 실제 프롬프트는 프리필이 훨씬 깁니다.