BroadRouter
Mulakan

Speculative decoding (penyahkodan spekulatif)

Dikemas kini

Speculative decoding ialah teknik inferens di mana model draf yang kecil dan pantas mencadangkan beberapa token seterusnya, dan model sasaran yang besar mengesahkannya dalam satu forward pass, lalu mengekalkan token yang diterima. Ia mempercepat penjanaan tanpa mengubah taburan output.

Juga dikenali sebagai: penyahkodan spekulatif, model draf, speculative sampling, assisted generation, assisted decoding, draft model decoding

Model besar menulis satu token bagi setiap forward pass. Speculative decoding membolehkannya mengesahkan beberapa token bagi setiap laluan.

Cara ia berfungsi

Leviathan et al. bermula daripada fakta mudah: “decoding K tokens takes K serial runs of the model.” (Terjemahan BroadRouter: “menyahkod K token memerlukan K larian model secara bersiri.”) Penyelesaian mereka meminjam pelaksanaan spekulatif daripada CPU:

  1. Model draf, yang jauh lebih kecil dan pantas, meneka beberapa token seterusnya.
  2. Model sasaran memberi skor kepada semua tekaan itu dalam satu forward pass. Memberi skor kepada sederet token yang pendek kosnya lebih kurang sama dengan menghasilkan satu token, seperti yang diperhatikan oleh Chen et al.
  3. Langkah rejection sampling yang diubah suai mengekalkan deretan tekaan terpanjang yang dipersetujui model sasaran, kemudian mensampel satu token miliknya sendiri.
  4. Ulang dari kedudukan baharu.

Apabila draf kerap betul, setiap laluan yang mahal menghasilkan beberapa token. Apabila salah, kerugiannya kecil: model sasaran tetap menghasilkan sekurang-kurangnya satu token. Panduan Hugging Face menambah bahawa kaedah ini paling berkesan apabila model draf “significantly smaller” (Terjemahan BroadRouter: “jauh lebih kecil”) dan berkongsi tokenizer yang sama.

Terdapat varian yang tidak memerlukan model draf berasingan. Panduan yang sama menerangkan lapisan multi-token prediction (MTP), di mana kepala tambahan dalam checkpoint utama merangka calon. Kad model DeepSeek untuk DeepSeek V4.1 Flash menyenaraikan skimnya sendiri, “DSpark speculative decoding”, sebagai sebahagian daripada seni binanya.

Mengapa ia penting

Bagi pemanggil API, speculative decoding muncul sebagai token sesaat yang lebih tinggi bagi setiap permintaan, yang mengurangkan jumlah kependaman untuk jawapan panjang. Ia tidak memendekkan masa ke token pertama, yang kebanyakannya ditentukan oleh pembacaan prompt.

Faedahnya tidak sekata. Teks yang boleh dijangka seperti suntingan kod, JSON dan teks templat mudah didrafkan. Teks kreatif dengan temperature tinggi lebih sukar, jadi lebih sedikit tekaan yang kekal. Di bawah beban berat, kerja pengesahan tambahan bersaing dengan permintaan lain, jadi penyedia mungkin menalanya untuk kelajuan setiap pengguna atau untuk jumlah daya pemprosesan.

Ia juga pilihan di sisi pelayan. Anda tidak boleh menghidupkannya melalui permintaan chat completions biasa.

Di BroadNet Inference

Rujukan API BroadNet tidak menyebut speculative decoding. Katalog modelnya menyenaraikan binaan pengeluaran Gemma 4 26B A4B, yang ditawarkan di API sebagai BroadNet Gemma 4 VL 26B, sebagai berjalan dengan MTP (k=2), yang digambarkan oleh katalog sebagai satu bentuk speculative decoding. Halaman model BroadNet meletakkan binaan itu pada kira-kira 136 token sesaat pada satu strim. Katalog itu juga melaporkan bahawa EAGLE3 mengurangkan daya pemprosesan sebanyak 69% pada 32 permintaan serentak, sebab itulah BroadNet mengekalkan drafter MTP, dan BroadNet telah menerbitkan dua kajian tentang Uno, adapter yang merangka sendiri: Uno dalam vLLM dan Uno pada Gemma 4 26B. Bagi pelan harga tetapnya, yang menjalankan DeepSeek V4.1 Flash, halaman pelan BroadNet memberikan kelajuan biasa kira-kira 100 token sesaat. Ukur kelajuan output anda sendiri dengan penstriman; panduan kependaman LLM menunjukkan caranya.

Soalan lazim

Adakah speculative decoding mengubah jawapan?

Tidak dari segi taburan. Kedua-dua kertas asal menggunakan peraturan penerimaan yang mengekalkan taburan output model sasaran, jadi kualitinya sama dengan model besar itu sendiri. Butiran titik apung masih boleh berbeza sedikit antara larian.

Berapa pantas speculative decoding?

Kertas asal melaporkan penyahkodan 2 hingga 3 kali lebih pantas pada T5-XXL dan 2 hingga 2.5 kali pada model Chinchilla 70B. Faedah sebenar bergantung pada kekerapan model draf meneka dengan betul.

Bolehkah saya menghidupkan speculative decoding melalui API?

Tidak dalam permintaan chat completions biasa. Ia pilihan hidangan (serving) yang dibuat oleh penyedia. Anda hanya melihatnya sebagai output yang lebih pantas, jadi ukur token sesaat pada prompt anda sendiri.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity