Permintaan chat melakukan dua kerja yang berbeza: membaca prompt, kemudian menulis jawapan. Jurutera inferens memanggilnya prefill dan decode, dan kedua-duanya berkelakuan sangat berbeza pada GPU.
Cara ia berfungsi
- Prefill. Model membaca setiap token prompt dalam satu laluan selari dan menyimpan kunci dan nilai attention bagi setiap token dalam KV cache. Belum ada apa-apa yang dipulangkan.
- Decode. Model menjana satu token, menambah kunci dan nilainya ke dalam cache, dan mengulang sehingga ia berhenti atau mencapai
max_tokens.
Kertas Sarathi-Serve menyatakan perbezaannya dengan jelas: “Prefill iterations have high latency but saturate GPU compute due to parallel processing of the input prompt” (Terjemahan BroadRouter: “Lelaran prefill mempunyai kependaman tinggi tetapi memenuhkan pengiraan GPU kerana pemprosesan selari prompt input”), manakala “decode iterations have low latency but also low compute utilization.” (Terjemahan BroadRouter: “lelaran decode mempunyai kependaman rendah tetapi juga penggunaan pengiraan yang rendah.”)
Kedua-dua fasa sepadan dengan dua angka kependaman yang dirasai pengguna. Kertas DistServe menamakannya: “time to first token (TTFT) for the prefill phase and time per output token (TPOT) of each request for the decoding phase.” (Terjemahan BroadRouter: “masa ke token pertama (TTFT) bagi fasa prefill dan masa setiap token output (TPOT) bagi setiap permintaan untuk fasa decoding.”)
Contoh: permintaan dengan prompt 20,000 token dan jawapan 300 token melakukan prefill bagi kesemua 20,000 token sebelum token pertama yang distrim muncul, kemudian 300 langkah decode berturutan. Memotong prompt separuh memendekkan masa menunggu token pertama; ia tidak mengubah kelajuan 300 token itu tiba.
Mengapa ia penting
- Masa ke token pertama mengikut saiz prompt. Prompt sistem, dokumen dan senarai alatan yang panjang semuanya menambah kerja prefill. Prefiks yang dicache melangkau sebahagian daripadanya, sebab itulah token input cache boleh membuatkan prompt panjang bermula lebih cepat.
- Token sesaat ialah angka decode. Kelajuan output bergantung pada seberapa cepat setiap langkah decode berjalan, yang cuba dipercepatkan oleh speculative decoding.
- Kedua-dua fasa saling mengganggu. Apabila pelayan menjalankan kedua-duanya pada GPU yang sama, prefill yang besar boleh menjeda decode pengguna lain. DistServe melaporkan “strong prefill-decoding interferences” (Terjemahan BroadRouter: “gangguan prefill-decoding yang kuat”) dan memindahkan kedua-dua fasa ke GPU berlainan. Sarathi-Serve pula “splits a prefill request into near equal sized chunks” (Terjemahan BroadRouter: “memecahkan permintaan prefill kepada cebisan yang hampir sama saiz”) dan menjadualkannya “without pausing ongoing decodes” (Terjemahan BroadRouter: “tanpa menjeda decode yang sedang berjalan”).
- Enjin mendedahkan pertukaran ini. Panduan penalaan vLLM menyatakan chunked prefill membolehkannya mengumpulkan cebisan prefill bersama permintaan decode.
max_num_batched_tokensyang lebih kecil memperbaik kependaman antara token, manakala yang lebih besar memihak kepada TTFT dan daya pemprosesan.
Panduan kependaman, TTFT dan daya pemprosesan menunjukkan cara mengukur kedua-dua fasa dari pihak klien.
Di BroadNet Inference
BroadNet tidak menerbitkan cara pelayannya menjadualkan prefill dan decode. Apa yang anda boleh lihat ialah kesannya: strim respons seperti dalam panduan penstriman, log masa hingga cebisan kandungan pertama (kebanyakannya prefill serta giliran) dan kadar cebisan selepasnya (decode). Pada GLM 5.3, DeepSeek V4.1 Flash dan Qwen3.8 27B, token penaakulan juga dijana dalam decode, jadi ia melambatkan jawapan yang kelihatan dan dikira dalam max_tokens.
Kesilapan biasa
- Menyalahkan kelajuan output model apabila token pertama lambat. Semak panjang prompt dahulu.
- Membuat penanda aras dengan prompt yang sangat kecil. Prompt sebenar dengan konteks panjang mempunyai prefill yang jauh lebih lama.