Model besar menulis satu token bagi setiap forward pass. Speculative decoding membolehkannya mengesahkan beberapa token bagi setiap laluan.
Cara ia berfungsi
Leviathan et al. bermula daripada fakta mudah: “decoding K tokens takes K serial runs of the model.” (Terjemahan BroadRouter: “menyahkod K token memerlukan K larian model secara bersiri.”) Penyelesaian mereka meminjam pelaksanaan spekulatif daripada CPU:
- Model draf, yang jauh lebih kecil dan pantas, meneka beberapa token seterusnya.
- Model sasaran memberi skor kepada semua tekaan itu dalam satu forward pass. Memberi skor kepada sederet token yang pendek kosnya lebih kurang sama dengan menghasilkan satu token, seperti yang diperhatikan oleh Chen et al.
- Langkah rejection sampling yang diubah suai mengekalkan deretan tekaan terpanjang yang dipersetujui model sasaran, kemudian mensampel satu token miliknya sendiri.
- Ulang dari kedudukan baharu.
Apabila draf kerap betul, setiap laluan yang mahal menghasilkan beberapa token. Apabila salah, kerugiannya kecil: model sasaran tetap menghasilkan sekurang-kurangnya satu token. Panduan Hugging Face menambah bahawa kaedah ini paling berkesan apabila model draf “significantly smaller” (Terjemahan BroadRouter: “jauh lebih kecil”) dan berkongsi tokenizer yang sama.
Terdapat varian yang tidak memerlukan model draf berasingan. Panduan yang sama menerangkan lapisan multi-token prediction (MTP), di mana kepala tambahan dalam checkpoint utama merangka calon. Kad model DeepSeek untuk DeepSeek V4.1 Flash menyenaraikan skimnya sendiri, “DSpark speculative decoding”, sebagai sebahagian daripada seni binanya.
Mengapa ia penting
Bagi pemanggil API, speculative decoding muncul sebagai token sesaat yang lebih tinggi bagi setiap permintaan, yang mengurangkan jumlah kependaman untuk jawapan panjang. Ia tidak memendekkan masa ke token pertama, yang kebanyakannya ditentukan oleh pembacaan prompt.
Faedahnya tidak sekata. Teks yang boleh dijangka seperti suntingan kod, JSON dan teks templat mudah didrafkan. Teks kreatif dengan temperature tinggi lebih sukar, jadi lebih sedikit tekaan yang kekal. Di bawah beban berat, kerja pengesahan tambahan bersaing dengan permintaan lain, jadi penyedia mungkin menalanya untuk kelajuan setiap pengguna atau untuk jumlah daya pemprosesan.
Ia juga pilihan di sisi pelayan. Anda tidak boleh menghidupkannya melalui permintaan chat completions biasa.
Di BroadNet Inference
Rujukan API BroadNet tidak menyebut speculative decoding. Katalog modelnya menyenaraikan binaan pengeluaran Gemma 4 26B A4B, yang ditawarkan di API sebagai BroadNet Gemma 4 VL 26B, sebagai berjalan dengan MTP (k=2), yang digambarkan oleh katalog sebagai satu bentuk speculative decoding. Halaman model BroadNet meletakkan binaan itu pada kira-kira 136 token sesaat pada satu strim. Katalog itu juga melaporkan bahawa EAGLE3 mengurangkan daya pemprosesan sebanyak 69% pada 32 permintaan serentak, sebab itulah BroadNet mengekalkan drafter MTP, dan BroadNet telah menerbitkan dua kajian tentang Uno, adapter yang merangka sendiri: Uno dalam vLLM dan Uno pada Gemma 4 26B. Bagi pelan harga tetapnya, yang menjalankan DeepSeek V4.1 Flash, halaman pelan BroadNet memberikan kelajuan biasa kira-kira 100 token sesaat. Ukur kelajuan output anda sendiri dengan penstriman; panduan kependaman LLM menunjukkan caranya.