큰 모델은 순전파 한 번에 토큰 하나를 씁니다. 추측 디코딩을 쓰면 순전파 한 번에 토큰 여러 개를 확정할 수 있습니다.
작동 방식
Leviathan 외 연구진은 단순한 사실에서 출발합니다. “decoding K tokens takes K serial runs of the model.”(번역: 토큰 K개를 디코딩하려면 모델을 K번 순차적으로 실행해야 합니다) 이들의 해결책은 CPU의 투기적 실행(speculative execution)을 빌려 온 것입니다.
- 훨씬 작고 빠른 초안 모델이 다음 토큰 몇 개를 추측합니다.
- 대상 모델이 그 추측을 순전파 한 번으로 모두 평가합니다. Chen 외 연구진이 관찰했듯, 짧은 토큰 묶음을 평가하는 비용은 토큰 하나를 생성하는 비용과 거의 같습니다.
- 수정된 기각 샘플링(rejection sampling) 단계가 대상 모델이 동의하는 가장 긴 추측 구간을 유지하고, 대상 모델이 직접 토큰 하나를 샘플링합니다.
- 새 위치에서 반복합니다.
초안이 자주 맞으면 비싼 순전파 한 번에서 토큰 여러 개가 나옵니다. 틀려도 손해는 작습니다. 대상 모델이 여전히 최소한 토큰 하나는 생성하기 때문입니다. Hugging Face 가이드는 초안 모델이 “significantly smaller”(번역: 훨씬 작고) 같은 토크나이저를 쓸 때 이 방법이 가장 잘 동작한다고 덧붙입니다.
별도의 초안 모델을 없앤 변형도 있습니다. 같은 가이드는 메인 체크포인트에 추가된 헤드가 후보를 만드는 다중 토큰 예측(MTP) 레이어를 설명합니다. DeepSeek V4.1 Flash의 모델 카드는 자체 방식인 “DSpark speculative decoding”(DSpark 추측 디코딩)을 아키텍처의 일부로 소개합니다.
왜 중요한가
API 호출자에게 추측 디코딩은 요청당 초당 토큰 수가 높아지는 것으로 나타나며, 긴 답변의 전체 지연 시간을 줄여 줍니다. 프롬프트 읽기가 대부분을 차지하는 첫 토큰까지의 시간은 줄이지 못합니다.
효과는 고르지 않습니다. 코드 수정, JSON, 상용구처럼 예측하기 쉬운 텍스트는 초안을 만들기 쉽습니다. 창의적이고 temperature가 높은 텍스트는 어려워서 살아남는 추측이 적습니다. 부하가 높으면 추가 검증 작업이 다른 요청과 자원을 다투므로, 제공업체는 사용자별 속도나 전체 처리량 중 어느 쪽에 맞출지 조정할 수 있습니다.
또한 서버 쪽에서 정하는 사항입니다. 표준 chat completions 요청으로는 켤 수 없습니다.
BroadNet Inference에서는
BroadNet의 API 레퍼런스는 추측 디코딩을 언급하지 않습니다. 모델 카탈로그는 API에서 BroadNet Gemma 4 VL 26B로 제공되는 프로덕션 Gemma 4 26B A4B 빌드가 MTP(k=2)로 실행된다고 밝히며, 카탈로그는 이를 추측 디코딩의 한 형태로 설명합니다. BroadNet 모델 페이지는 이 빌드의 단일 스트림 속도를 초당 약 136토큰으로 제시합니다. 카탈로그는 또 EAGLE3가 동시 요청 32개에서 처리량을 69% 떨어뜨렸다고 보고하며, 이것이 BroadNet이 MTP 드래프터를 유지한 이유입니다. BroadNet은 자기 초안(self-drafting) 어댑터인 Uno에 대한 연구 두 편도 공개했습니다. vLLM에서의 Uno와 Gemma 4 26B에서의 Uno입니다. DeepSeek V4.1 Flash로 운영되는 정액제 플랜에 대해서는 BroadNet 플랜 페이지가 일반적인 속도로 초당 약 100토큰를 제시합니다. 출력 속도는 스트리밍으로 직접 측정하세요. 방법은 LLM 지연 시간 가이드에 있습니다.