BroadRouter
Mulai

Speculative decoding

Diperbarui

Speculative decoding adalah teknik inferensi di mana model draft yang kecil dan cepat mengusulkan beberapa token berikutnya, lalu model target yang besar memverifikasinya dalam satu forward pass dan menyimpan token yang diterima. Teknik ini mempercepat generasi tanpa mengubah distribusi output.

Disebut juga: speculative decoding, decoding spekulatif, model draft, speculative sampling, assisted generation, assisted decoding, draft model decoding

Model besar menulis satu token per forward pass. Speculative decoding membuatnya bisa mengonfirmasi beberapa token dalam satu pass.

Cara kerjanya

Leviathan dkk. berangkat dari fakta sederhana: “decoding K tokens takes K serial runs of the model” (terjemahan: men-decode K token butuh K kali menjalankan model secara berurutan). Solusi mereka meminjam eksekusi spekulatif dari CPU:

  1. Model draft yang jauh lebih kecil dan cepat menebak beberapa token berikutnya.
  2. Model target memberi skor semua tebakan itu dalam satu forward pass. Seperti diamati Chen dkk., memberi skor serangkaian pendek token biayanya kira-kira sama dengan menghasilkan satu token.
  3. Langkah rejection sampling yang dimodifikasi menyimpan rangkaian tebakan terpanjang yang disetujui model target, lalu mengambil sampel satu token miliknya sendiri.
  4. Ulangi dari posisi baru.

Saat draft sering benar, setiap pass yang mahal menghasilkan beberapa token. Saat salah, kerugiannya kecil: model target tetap menghasilkan setidaknya satu token. Panduan Hugging Face menambahkan bahwa metode ini paling efektif bila model draft “significantly smaller” (terjemahan: jauh lebih kecil) dan memakai tokenizer yang sama.

Beberapa varian tidak memakai model draft terpisah. Panduan yang sama menjelaskan lapisan multi-token prediction (MTP), di mana head tambahan di checkpoint utama membuat draft kandidat. Model card DeepSeek V4.1 Flash mencantumkan skemanya sendiri, “DSpark speculative decoding”, sebagai bagian dari arsitekturnya.

Mengapa penting

Bagi pemanggil API, speculative decoding terlihat sebagai token per detik per permintaan yang lebih tinggi, yang memangkas total latensi pada jawaban panjang. Teknik ini tidak memperpendek time to first token, yang didominasi oleh pembacaan prompt.

Peningkatannya tidak merata. Teks yang mudah ditebak seperti edit kode, JSON, dan boilerplate mudah dibuat draft-nya. Teks kreatif dengan temperature tinggi lebih sulit, sehingga lebih sedikit tebakan yang lolos. Di bawah beban berat, kerja verifikasi tambahan bersaing dengan permintaan lain, jadi penyedia bisa menyetelnya untuk kecepatan per pengguna atau untuk total throughput.

Ini juga pilihan di sisi server. Anda tidak bisa mengaktifkannya lewat permintaan chat completions standar.

Di BroadNet Inference

Referensi API BroadNet tidak menyebut speculative decoding. Katalog modelnya mencantumkan build produksi Gemma 4 26B A4B, yang tersedia di API sebagai BroadNet Gemma 4 VL 26B, berjalan dengan MTP (k=2), yang oleh katalog itu disebut sebagai salah satu bentuk speculative decoding. Halaman model BroadNet menyebut build ini mencapai sekitar 136 token per detik pada satu stream. Katalog juga melaporkan bahwa EAGLE3 memangkas throughput sebesar 69% pada 32 permintaan bersamaan, alasan BroadNet tetap memakai drafter MTP, dan BroadNet telah menerbitkan dua studi tentang Uno, adapter yang membuat draft sendiri: Uno di vLLM dan Uno pada Gemma 4 26B. Untuk paket harga tetapnya, yang menjalankan DeepSeek V4.1 Flash, halaman paket BroadNet menyebut kecepatan tipikal sekitar 100 token per detik. Ukur sendiri kecepatan output Anda dengan streaming; panduan latensi LLM menunjukkan caranya.

Pertanyaan umum

Apakah speculative decoding mengubah jawaban?

Tidak secara distribusi. Kedua paper aslinya memakai aturan penerimaan yang mempertahankan distribusi output model target, jadi kualitasnya sama dengan model besar saat berjalan sendiri. Detail floating-point tetap bisa sedikit berbeda antar-run.

Seberapa cepat speculative decoding?

Paper aslinya melaporkan decoding 2 sampai 3 kali lebih cepat pada T5-XXL dan 2 sampai 2,5 kali pada model Chinchilla 70B. Peningkatan nyatanya bergantung pada seberapa sering tebakan model draft benar.

Bisakah saya mengaktifkan speculative decoding lewat API?

Tidak dalam permintaan chat completions standar. Ini adalah pilihan serving dari penyedia. Anda hanya melihatnya sebagai output yang lebih cepat, jadi ukur token per detik dengan prompt Anda sendiri.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity