BroadRouter
始める

投機的デコーディング(speculative decoding)

更新日

投機的デコーディングとは、小さく高速なドラフトモデルが次のトークンを複数提案し、大きなターゲットモデルが 1 回のフォワードパスでそれを検証して受け入れた分を残す推論手法です。出力の分布を変えずに生成を速くします。

別名: 投機的サンプリング、投機的デコード、スペキュレーティブデコーディング、アシスト生成、ドラフトモデル、MTP、speculative decoding、speculative sampling、assisted generation、assisted decoding、draft model decoding

大きなモデルは、1 回のフォワードパスで 1 トークンしか書けません。投機的デコーディングを使うと、1 回のパスで複数のトークンを確定できます。

仕組み

Leviathan らは単純な事実から出発します。“decoding K tokens takes K serial runs of the model.”(訳:K 個のトークンをデコードするには、モデルを K 回順番に実行する必要がある。)彼らの解決策は、CPU の投機的実行を借りたものです。

  1. ずっと小さく高速なドラフトモデルが、次の数トークンを予想します。
  2. ターゲットモデルが、それらの予想すべてを 1 回のフォワードパスで評価します。Chen らが述べるとおり、短いトークン列の評価にかかるコストは、1 トークンを生成するのとほぼ同じです。
  3. 改良した棄却サンプリングの手順で、ターゲットモデルが同意する最長の予想列を残し、続けて自分で 1 トークンをサンプリングします。
  4. 新しい位置から繰り返します。

ドラフトがよく当たれば、高コストなパス 1 回で複数のトークンが得られます。外れても損失はわずかで、ターゲットモデルは少なくとも 1 トークンを生成します。Hugging Face のガイドは、ドラフトモデルが “significantly smaller”(訳:大幅に小さい)うえに同じトークナイザーを共有しているときに最もよく効くと補足しています。

別のドラフトモデルを使わない派生手法もあります。同じガイドは、メインのチェックポイントに追加したヘッドが候補を書く、マルチトークン予測(MTP)レイヤーを紹介しています。DeepSeek は DeepSeek V4.1 Flash のモデルカードで、独自の方式 “DSpark speculative decoding”(DSpark 投機的デコーディング)をアーキテクチャの一部として挙げています。

なぜ重要か

API の利用者にとって、投機的デコーディングはリクエストごとのトークン毎秒の向上として現れ、長い回答の全体のレイテンシを縮めます。最初のトークンまでの時間(TTFT)は短くなりません。こちらはプロンプトの読み込みが大半を占めるからです。

効果にはばらつきがあります。コードの編集、JSON、定型文のように予測しやすいテキストはドラフトしやすく、創作的で temperature の高いテキストは難しいため、残る予想が減ります。高負荷時には追加の検証処理がほかのリクエストと競合するので、プロバイダーはユーザーごとの速度か全体のスループットのどちらかに合わせて調整することがあります。

また、これはサーバー側の選択です。標準の chat completions リクエストからオンにすることはできません。

BroadNet Inference の場合

BroadNet の API リファレンスは投機的デコーディングに触れていません。モデルカタログでは、本番の Gemma 4 26B A4B ビルド(API では BroadNet Gemma 4 VL 26B として提供)が MTP(k=2)で動いているとされ、カタログはこれを投機的デコーディングの一種と説明しています。BroadNet のモデルページでは、このビルドのシングルストリームの速度は毎秒約 136 トークンです。カタログはまた、32 同時リクエストで EAGLE3 によりスループットが 69% 下がったと報告しており、BroadNet が MTP のドラフターを使い続けているのはそのためです。さらに BroadNet は、自己ドラフト型アダプター Uno についての研究を 2 本公開しています。vLLM での Uno と Gemma 4 26B での Uno です。DeepSeek V4.1 Flash で動く定額プランについては、BroadNet のプランページが典型的な速度を 毎秒約 100 トークン としています。自分の出力速度はストリーミングで測ってください。方法は LLM のレイテンシのガイドにあります。

よくある質問

投機的デコーディングで回答は変わりますか?

分布としては変わりません。元の 2 本の論文はどちらも、ターゲットモデルの出力分布を保つ受理ルールを使っているので、品質は大きなモデル単体と同じです。ただし浮動小数点の細かな違いで、実行ごとにわずかに異なることはあります。

投機的デコーディングでどのくらい速くなりますか?

元の論文は、T5-XXL でデコードが 2〜3 倍、70B の Chinchilla モデルで 2〜2.5 倍速くなったと報告しています。実際の効果は、ドラフトモデルがどれだけ当たるかで決まります。

API から投機的デコーディングをオンにできますか?

標準の chat completions リクエストではできません。これはプロバイダーが提供時に決めることです。利用者には出力が速くなる形でしか見えないので、自分のプロンプトでトークン毎秒を測ってください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く