Sebuah request chat mengerjakan dua pekerjaan berbeda: membaca prompt, lalu menulis jawaban. Engineer inferensi menyebutnya prefill dan decode, dan keduanya berperilaku sangat berbeda di GPU.
Cara kerjanya
- Prefill. Model membaca setiap token prompt dalam satu lintasan paralel dan menyimpan key dan value attention setiap token di KV cache. Belum ada yang dikembalikan.
- Decode. Model menghasilkan satu token, menambahkan key dan value-nya ke cache, lalu mengulanginya sampai berhenti atau mencapai
max_tokens.
Makalah Sarathi-Serve menjelaskan perbedaannya dengan lugas: “Prefill iterations have high latency but saturate GPU compute due to parallel processing of the input prompt” (terjemahan: iterasi prefill punya latensi tinggi tetapi memenuhi kapasitas komputasi GPU karena prompt input diproses secara paralel), sedangkan “decode iterations have low latency but also low compute utilization.” (terjemahan: iterasi decode punya latensi rendah tetapi juga utilisasi komputasi yang rendah.)
Kedua fase ini sesuai dengan dua angka latensi yang dirasakan pengguna. Makalah DistServe menamainya: “time to first token (TTFT) for the prefill phase and time per output token (TPOT) of each request for the decoding phase.” (terjemahan: time to first token (TTFT) untuk fase prefill dan time per output token (TPOT) setiap request untuk fase decoding.)
Contoh konkret: request dengan prompt 20.000 token dan jawaban 300 token menjalankan prefill untuk seluruh 20.000 token sebelum token pertama hasil streaming muncul, lalu 300 langkah decode berurutan. Memotong prompt menjadi setengahnya mempersingkat waktu tunggu token pertama; itu tidak mengubah seberapa cepat 300 token tersebut tiba.
Mengapa penting
- Time to first token mengikuti ukuran prompt. System prompt yang panjang, dokumen, dan daftar tool semuanya menambah pekerjaan prefill. Prefix yang di-cache melewati sebagian pekerjaan itu, karena itulah token input cache bisa membuat prompt panjang mulai lebih cepat.
- Token per detik adalah angka decode. Kecepatan output bergantung pada seberapa cepat setiap langkah decode berjalan, dan speculative decoding berusaha meningkatkannya.
- Kedua fase saling mengganggu. Saat server menjalankan keduanya di GPU yang sama, prefill besar bisa menjeda decode pengguna lain. DistServe melaporkan “strong prefill-decoding interferences” (terjemahan: interferensi prefill-decoding yang kuat) dan memindahkan kedua fase ke GPU yang berbeda. Sarathi-Serve sebaliknya “splits a prefill request into near equal sized chunks” (terjemahan: memecah request prefill menjadi potongan berukuran hampir sama) dan menjadwalkannya “without pausing ongoing decodes” (terjemahan: tanpa menjeda decode yang sedang berjalan).
- Engine memperlihatkan trade-off-nya. Panduan tuning vLLM menyebut chunked prefill memungkinkan potongan prefill di-batch bersama request decode.
max_num_batched_tokensyang lebih kecil memperbaiki latensi antar-token, sedangkan yang lebih besar menguntungkan TTFT dan throughput.
Panduan latensi, TTFT, dan throughput menunjukkan cara mengukur kedua fase dari sisi klien.
Di BroadNet Inference
BroadNet tidak memublikasikan cara servernya menjadwalkan prefill dan decode. Yang bisa Anda lihat adalah efeknya: lakukan streaming respons seperti di panduan streaming, catat waktu hingga chunk konten pertama (sebagian besar prefill plus antrean) dan laju chunk setelahnya (decode). Pada GLM 5.3, DeepSeek V4.1 Flash, dan Qwen3.8 27B, token penalaran juga dihasilkan saat decode, sehingga menunda jawaban yang terlihat dan ikut dihitung dalam max_tokens.
Kesalahan umum
- Menyalahkan kecepatan output model atas token pertama yang lambat. Periksa panjang prompt terlebih dahulu.
- Melakukan benchmark dengan prompt yang sangat kecil. Prompt nyata dengan konteks panjang punya prefill yang jauh lebih lama.