BroadRouter
시작하기

추측 디코딩(speculative decoding)

업데이트

추측 디코딩(speculative decoding)은 작고 빠른 초안(draft) 모델이 다음 토큰 여러 개를 제안하고, 큰 대상(target) 모델이 이를 순전파 한 번으로 검증해 받아들인 토큰을 유지하는 추론 기법입니다. 출력 분포를 바꾸지 않고 생성 속도를 높입니다.

다른 이름: 투기적 디코딩, 추측 샘플링, 스페큘레이티브 디코딩, 보조 생성, 초안 모델 디코딩, speculative decoding, speculative sampling, assisted generation, assisted decoding, draft model decoding

큰 모델은 순전파 한 번에 토큰 하나를 씁니다. 추측 디코딩을 쓰면 순전파 한 번에 토큰 여러 개를 확정할 수 있습니다.

작동 방식

Leviathan 외 연구진은 단순한 사실에서 출발합니다. “decoding K tokens takes K serial runs of the model.”(번역: 토큰 K개를 디코딩하려면 모델을 K번 순차적으로 실행해야 합니다) 이들의 해결책은 CPU의 투기적 실행(speculative execution)을 빌려 온 것입니다.

  1. 훨씬 작고 빠른 초안 모델이 다음 토큰 몇 개를 추측합니다.
  2. 대상 모델이 그 추측을 순전파 한 번으로 모두 평가합니다. Chen 외 연구진이 관찰했듯, 짧은 토큰 묶음을 평가하는 비용은 토큰 하나를 생성하는 비용과 거의 같습니다.
  3. 수정된 기각 샘플링(rejection sampling) 단계가 대상 모델이 동의하는 가장 긴 추측 구간을 유지하고, 대상 모델이 직접 토큰 하나를 샘플링합니다.
  4. 새 위치에서 반복합니다.

초안이 자주 맞으면 비싼 순전파 한 번에서 토큰 여러 개가 나옵니다. 틀려도 손해는 작습니다. 대상 모델이 여전히 최소한 토큰 하나는 생성하기 때문입니다. Hugging Face 가이드는 초안 모델이 “significantly smaller”(번역: 훨씬 작고) 같은 토크나이저를 쓸 때 이 방법이 가장 잘 동작한다고 덧붙입니다.

별도의 초안 모델을 없앤 변형도 있습니다. 같은 가이드는 메인 체크포인트에 추가된 헤드가 후보를 만드는 다중 토큰 예측(MTP) 레이어를 설명합니다. DeepSeek V4.1 Flash의 모델 카드는 자체 방식인 “DSpark speculative decoding”(DSpark 추측 디코딩)을 아키텍처의 일부로 소개합니다.

왜 중요한가

API 호출자에게 추측 디코딩은 요청당 초당 토큰 수가 높아지는 것으로 나타나며, 긴 답변의 전체 지연 시간을 줄여 줍니다. 프롬프트 읽기가 대부분을 차지하는 첫 토큰까지의 시간은 줄이지 못합니다.

효과는 고르지 않습니다. 코드 수정, JSON, 상용구처럼 예측하기 쉬운 텍스트는 초안을 만들기 쉽습니다. 창의적이고 temperature가 높은 텍스트는 어려워서 살아남는 추측이 적습니다. 부하가 높으면 추가 검증 작업이 다른 요청과 자원을 다투므로, 제공업체는 사용자별 속도나 전체 처리량 중 어느 쪽에 맞출지 조정할 수 있습니다.

또한 서버 쪽에서 정하는 사항입니다. 표준 chat completions 요청으로는 켤 수 없습니다.

BroadNet Inference에서는

BroadNet의 API 레퍼런스는 추측 디코딩을 언급하지 않습니다. 모델 카탈로그는 API에서 BroadNet Gemma 4 VL 26B로 제공되는 프로덕션 Gemma 4 26B A4B 빌드가 MTP(k=2)로 실행된다고 밝히며, 카탈로그는 이를 추측 디코딩의 한 형태로 설명합니다. BroadNet 모델 페이지는 이 빌드의 단일 스트림 속도를 초당 약 136토큰으로 제시합니다. 카탈로그는 또 EAGLE3가 동시 요청 32개에서 처리량을 69% 떨어뜨렸다고 보고하며, 이것이 BroadNet이 MTP 드래프터를 유지한 이유입니다. BroadNet은 자기 초안(self-drafting) 어댑터인 Uno에 대한 연구 두 편도 공개했습니다. vLLM에서의 Uno와 Gemma 4 26B에서의 Uno입니다. DeepSeek V4.1 Flash로 운영되는 정액제 플랜에 대해서는 BroadNet 플랜 페이지가 일반적인 속도로 초당 약 100토큰를 제시합니다. 출력 속도는 스트리밍으로 직접 측정하세요. 방법은 LLM 지연 시간 가이드에 있습니다.

자주 묻는 질문

추측 디코딩을 쓰면 답변이 달라지나요?

분포는 달라지지 않습니다. 두 원 논문 모두 대상 모델의 출력 분포를 유지하는 수락 규칙을 쓰므로, 품질은 큰 모델을 단독으로 쓸 때와 같습니다. 다만 부동소수점 처리 때문에 실행마다 조금씩 다를 수는 있습니다.

추측 디코딩은 얼마나 빠른가요?

원 논문들은 T5-XXL에서 디코딩이 2~3배, 70B Chinchilla 모델에서 2~2.5배 빨라졌다고 보고합니다. 실제 향상 폭은 초안 모델이 얼마나 자주 맞히는지에 달려 있습니다.

API로 추측 디코딩을 켤 수 있나요?

표준 chat completions 요청으로는 켤 수 없습니다. 제공업체가 서빙 단계에서 정하는 사항이며, 사용자에게는 더 빠른 출력으로만 보입니다. 내 프롬프트로 초당 토큰 수를 측정해 보세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기