大きなモデルは、1 回のフォワードパスで 1 トークンしか書けません。投機的デコーディングを使うと、1 回のパスで複数のトークンを確定できます。
仕組み
Leviathan らは単純な事実から出発します。“decoding K tokens takes K serial runs of the model.”(訳:K 個のトークンをデコードするには、モデルを K 回順番に実行する必要がある。)彼らの解決策は、CPU の投機的実行を借りたものです。
- ずっと小さく高速なドラフトモデルが、次の数トークンを予想します。
- ターゲットモデルが、それらの予想すべてを 1 回のフォワードパスで評価します。Chen らが述べるとおり、短いトークン列の評価にかかるコストは、1 トークンを生成するのとほぼ同じです。
- 改良した棄却サンプリングの手順で、ターゲットモデルが同意する最長の予想列を残し、続けて自分で 1 トークンをサンプリングします。
- 新しい位置から繰り返します。
ドラフトがよく当たれば、高コストなパス 1 回で複数のトークンが得られます。外れても損失はわずかで、ターゲットモデルは少なくとも 1 トークンを生成します。Hugging Face のガイドは、ドラフトモデルが “significantly smaller”(訳:大幅に小さい)うえに同じトークナイザーを共有しているときに最もよく効くと補足しています。
別のドラフトモデルを使わない派生手法もあります。同じガイドは、メインのチェックポイントに追加したヘッドが候補を書く、マルチトークン予測(MTP)レイヤーを紹介しています。DeepSeek は DeepSeek V4.1 Flash のモデルカードで、独自の方式 “DSpark speculative decoding”(DSpark 投機的デコーディング)をアーキテクチャの一部として挙げています。
なぜ重要か
API の利用者にとって、投機的デコーディングはリクエストごとのトークン毎秒の向上として現れ、長い回答の全体のレイテンシを縮めます。最初のトークンまでの時間(TTFT)は短くなりません。こちらはプロンプトの読み込みが大半を占めるからです。
効果にはばらつきがあります。コードの編集、JSON、定型文のように予測しやすいテキストはドラフトしやすく、創作的で temperature の高いテキストは難しいため、残る予想が減ります。高負荷時には追加の検証処理がほかのリクエストと競合するので、プロバイダーはユーザーごとの速度か全体のスループットのどちらかに合わせて調整することがあります。
また、これはサーバー側の選択です。標準の chat completions リクエストからオンにすることはできません。
BroadNet Inference の場合
BroadNet の API リファレンスは投機的デコーディングに触れていません。モデルカタログでは、本番の Gemma 4 26B A4B ビルド(API では BroadNet Gemma 4 VL 26B として提供)が MTP(k=2)で動いているとされ、カタログはこれを投機的デコーディングの一種と説明しています。BroadNet のモデルページでは、このビルドのシングルストリームの速度は毎秒約 136 トークンです。カタログはまた、32 同時リクエストで EAGLE3 によりスループットが 69% 下がったと報告しており、BroadNet が MTP のドラフターを使い続けているのはそのためです。さらに BroadNet は、自己ドラフト型アダプター Uno についての研究を 2 本公開しています。vLLM での Uno と Gemma 4 26B での Uno です。DeepSeek V4.1 Flash で動く定額プランについては、BroadNet のプランページが典型的な速度を 毎秒約 100 トークン としています。自分の出力速度はストリーミングで測ってください。方法は LLM のレイテンシのガイドにあります。