BroadRouter

Prefill dan decode

Dikemas kini

Prefill dan decode ialah dua fasa inferens LLM. Dalam prefill, model memproses seluruh prompt secara selari dan mengisi KV cache; dalam decode, ia menjana jawapan satu token pada satu masa, menggunakan semula cache itu. Prefill kebanyakannya menentukan masa ke token pertama; decode menentukan kelajuan output.

Juga dikenali sebagai: prefill and decode, prefill, fasa prefill, prefill phase, decode phase, fasa decode, prefill stage, prompt processing

Permintaan chat melakukan dua kerja yang berbeza: membaca prompt, kemudian menulis jawapan. Jurutera inferens memanggilnya prefill dan decode, dan kedua-duanya berkelakuan sangat berbeza pada GPU.

Cara ia berfungsi

  1. Prefill. Model membaca setiap token prompt dalam satu laluan selari dan menyimpan kunci dan nilai attention bagi setiap token dalam KV cache. Belum ada apa-apa yang dipulangkan.
  2. Decode. Model menjana satu token, menambah kunci dan nilainya ke dalam cache, dan mengulang sehingga ia berhenti atau mencapai max_tokens.

Kertas Sarathi-Serve menyatakan perbezaannya dengan jelas: “Prefill iterations have high latency but saturate GPU compute due to parallel processing of the input prompt” (Terjemahan BroadRouter: “Lelaran prefill mempunyai kependaman tinggi tetapi memenuhkan pengiraan GPU kerana pemprosesan selari prompt input”), manakala “decode iterations have low latency but also low compute utilization.” (Terjemahan BroadRouter: “lelaran decode mempunyai kependaman rendah tetapi juga penggunaan pengiraan yang rendah.”)

Kedua-dua fasa sepadan dengan dua angka kependaman yang dirasai pengguna. Kertas DistServe menamakannya: “time to first token (TTFT) for the prefill phase and time per output token (TPOT) of each request for the decoding phase.” (Terjemahan BroadRouter: “masa ke token pertama (TTFT) bagi fasa prefill dan masa setiap token output (TPOT) bagi setiap permintaan untuk fasa decoding.”)

Contoh: permintaan dengan prompt 20,000 token dan jawapan 300 token melakukan prefill bagi kesemua 20,000 token sebelum token pertama yang distrim muncul, kemudian 300 langkah decode berturutan. Memotong prompt separuh memendekkan masa menunggu token pertama; ia tidak mengubah kelajuan 300 token itu tiba.

Mengapa ia penting

  • Masa ke token pertama mengikut saiz prompt. Prompt sistem, dokumen dan senarai alatan yang panjang semuanya menambah kerja prefill. Prefiks yang dicache melangkau sebahagian daripadanya, sebab itulah token input cache boleh membuatkan prompt panjang bermula lebih cepat.
  • Token sesaat ialah angka decode. Kelajuan output bergantung pada seberapa cepat setiap langkah decode berjalan, yang cuba dipercepatkan oleh speculative decoding.
  • Kedua-dua fasa saling mengganggu. Apabila pelayan menjalankan kedua-duanya pada GPU yang sama, prefill yang besar boleh menjeda decode pengguna lain. DistServe melaporkan “strong prefill-decoding interferences” (Terjemahan BroadRouter: “gangguan prefill-decoding yang kuat”) dan memindahkan kedua-dua fasa ke GPU berlainan. Sarathi-Serve pula “splits a prefill request into near equal sized chunks” (Terjemahan BroadRouter: “memecahkan permintaan prefill kepada cebisan yang hampir sama saiz”) dan menjadualkannya “without pausing ongoing decodes” (Terjemahan BroadRouter: “tanpa menjeda decode yang sedang berjalan”).
  • Enjin mendedahkan pertukaran ini. Panduan penalaan vLLM menyatakan chunked prefill membolehkannya mengumpulkan cebisan prefill bersama permintaan decode. max_num_batched_tokens yang lebih kecil memperbaik kependaman antara token, manakala yang lebih besar memihak kepada TTFT dan daya pemprosesan.

Panduan kependaman, TTFT dan daya pemprosesan menunjukkan cara mengukur kedua-dua fasa dari pihak klien.

Di BroadNet Inference

BroadNet tidak menerbitkan cara pelayannya menjadualkan prefill dan decode. Apa yang anda boleh lihat ialah kesannya: strim respons seperti dalam panduan penstriman, log masa hingga cebisan kandungan pertama (kebanyakannya prefill serta giliran) dan kadar cebisan selepasnya (decode). Pada GLM 5.3, DeepSeek V4.1 Flash dan Qwen3.8 27B, token penaakulan juga dijana dalam decode, jadi ia melambatkan jawapan yang kelihatan dan dikira dalam max_tokens.

Kesilapan biasa

  • Menyalahkan kelajuan output model apabila token pertama lambat. Semak panjang prompt dahulu.
  • Membuat penanda aras dengan prompt yang sangat kecil. Prompt sebenar dengan konteks panjang mempunyai prefill yang jauh lebih lama.

Soalan lazim

Mengapakah prompt yang panjang melambatkan token pertama?

Setiap token prompt mesti melalui prefill sebelum model boleh menulis apa-apa. Prompt yang lebih panjang bermakna lebih banyak kerja prefill, jadi masa ke token pertama meningkat mengikut panjang prompt, melainkan sebahagian prompt disediakan daripada cache.

Adakah jawapan yang lebih panjang melambatkan token pertama?

Tidak. Token pertama menunggu prefill prompt. Jawapan yang lebih panjang hanya menambah langkah decode selepas token pertama tiba.

Apakah itu chunked prefill?

Kaedah penjadualan yang memecahkan prompt panjang kepada cebisan dan mencampurkannya dengan langkah decode yang sedang berjalan, supaya satu prompt besar tidak menghentikan pengguna lain. vLLM mendayakannya secara lalai di mana boleh.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity