---
title: "Apa itu prefill dan decode? Dua fase inferensi LLM | BroadRouter"
description: "Prefill membaca seluruh prompt Anda sekaligus; decode lalu menulis jawaban satu token demi satu token. Beda keduanya dan mengapa menentukan TTFT dan kecepatan."
url: https://broadrouter.com/id/glossary/prefill-and-decode/
lang: id
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/glossary/prefill-and-decode/) (diperbarui 2026-11-16).

# Prefill dan decode (fase inferensi LLM)

Diperbarui 2026-11-16

Prefill dan decode adalah dua fase inferensi LLM. Pada prefill, model memproses seluruh prompt secara paralel dan mengisi KV cache-nya; pada decode, model menghasilkan balasan satu token demi satu token sambil memakai ulang cache tersebut. Prefill terutama menentukan time to first token; decode menentukan kecepatan output.

Disebut juga: prefill, decode, fase prefill, fase decode, tahap prefill, pemrosesan prompt, prefill phase, decode phase, prefill stage, prompt processing

Sebuah request chat mengerjakan dua pekerjaan berbeda: membaca prompt, lalu menulis jawaban. Engineer inferensi menyebutnya prefill dan decode, dan keduanya berperilaku sangat berbeda di GPU.

## Cara kerjanya

1.  **Prefill.** Model membaca setiap token prompt dalam satu lintasan paralel dan menyimpan key dan value attention setiap token di [KV cache](https://broadrouter.com/id/glossary/kv-cache/). Belum ada yang dikembalikan.
2.  **Decode.** Model menghasilkan satu token, menambahkan key dan value-nya ke cache, lalu mengulanginya sampai berhenti atau mencapai `max_tokens`.

Makalah Sarathi-Serve menjelaskan perbedaannya dengan lugas: “Prefill iterations have high latency but saturate GPU compute due to parallel processing of the input prompt” (terjemahan: iterasi prefill punya latensi tinggi tetapi memenuhi kapasitas komputasi GPU karena prompt input diproses secara paralel), sedangkan “decode iterations have low latency but also low compute utilization.” (terjemahan: iterasi decode punya latensi rendah tetapi juga utilisasi komputasi yang rendah.)

Kedua fase ini sesuai dengan dua angka latensi yang dirasakan pengguna. Makalah DistServe menamainya: “time to first token (TTFT) for the prefill phase and time per output token (TPOT) of each request for the decoding phase.” (terjemahan: time to first token (TTFT) untuk fase prefill dan time per output token (TPOT) setiap request untuk fase decoding.)

Contoh konkret: request dengan prompt 20.000 token dan jawaban 300 token menjalankan prefill untuk seluruh 20.000 token sebelum token pertama hasil streaming muncul, lalu 300 langkah decode berurutan. Memotong prompt menjadi setengahnya mempersingkat waktu tunggu token pertama; itu tidak mengubah seberapa cepat 300 token tersebut tiba.

## Mengapa penting

-   **[Time to first token](https://broadrouter.com/id/glossary/time-to-first-token/) mengikuti ukuran prompt.** System prompt yang panjang, dokumen, dan daftar tool semuanya menambah pekerjaan prefill. Prefix yang di-cache melewati sebagian pekerjaan itu, karena itulah [token input cache](https://broadrouter.com/id/glossary/cached-input-tokens/) bisa membuat prompt panjang mulai lebih cepat.
-   **[Token per detik](https://broadrouter.com/id/glossary/tokens-per-second/) adalah angka decode.** Kecepatan output bergantung pada seberapa cepat setiap langkah decode berjalan, dan [speculative decoding](https://broadrouter.com/id/glossary/speculative-decoding/) berusaha meningkatkannya.
-   **Kedua fase saling mengganggu.** Saat server menjalankan keduanya di GPU yang sama, prefill besar bisa menjeda decode pengguna lain. DistServe melaporkan “strong prefill-decoding interferences” (terjemahan: interferensi prefill-decoding yang kuat) dan memindahkan kedua fase ke GPU yang berbeda. Sarathi-Serve sebaliknya “splits a prefill request into near equal sized chunks” (terjemahan: memecah request prefill menjadi potongan berukuran hampir sama) dan menjadwalkannya “without pausing ongoing decodes” (terjemahan: tanpa menjeda decode yang sedang berjalan).
-   **Engine memperlihatkan trade-off-nya.** Panduan tuning vLLM menyebut chunked prefill memungkinkan potongan prefill di-batch bersama request decode. `max_num_batched_tokens` yang lebih kecil memperbaiki latensi antar-token, sedangkan yang lebih besar menguntungkan TTFT dan [throughput](https://broadrouter.com/id/glossary/throughput/).

[Panduan latensi, TTFT, dan throughput](https://broadrouter.com/id/blog/llm-latency-ttft-throughput/) menunjukkan cara mengukur kedua fase dari sisi klien.

## Di BroadNet Inference

BroadNet tidak memublikasikan cara servernya menjadwalkan prefill dan decode. Yang bisa Anda lihat adalah efeknya: lakukan streaming respons seperti di [panduan streaming](https://broadrouter.com/id/guides/streaming-chat-completions/), catat waktu hingga chunk konten pertama (sebagian besar prefill plus antrean) dan laju chunk setelahnya (decode). Pada [GLM 5.3](https://broadrouter.com/id/models/glm-5.3/), [DeepSeek V4.1 Flash](https://broadrouter.com/id/models/deepseek-v4.1-flash/), dan [Qwen3.8 27B](https://broadrouter.com/id/models/qwen3.8-27b/), token penalaran juga dihasilkan saat decode, sehingga menunda jawaban yang terlihat dan ikut dihitung dalam `max_tokens`.

## Kesalahan umum

-   Menyalahkan kecepatan output model atas token pertama yang lambat. Periksa panjang prompt terlebih dahulu.
-   Melakukan benchmark dengan prompt yang sangat kecil. Prompt nyata dengan konteks panjang punya prefill yang jauh lebih lama.

## Pertanyaan umum

### Mengapa prompt yang panjang membuat token pertama lambat?

Setiap token prompt harus melewati prefill sebelum model bisa menulis apa pun. Prompt yang lebih panjang berarti lebih banyak pekerjaan prefill, jadi time to first token bertambah seiring panjang prompt, kecuali sebagian prompt disajikan dari cache.

### Apakah jawaban yang lebih panjang memperlambat token pertama?

Tidak. Token pertama menunggu prefill prompt. Jawaban yang lebih panjang hanya menambah langkah decode setelah token pertama tiba.

### Apa itu chunked prefill?

Metode penjadwalan yang memecah prompt panjang menjadi potongan-potongan dan mencampurnya dengan langkah decode yang sedang berjalan, sehingga satu prompt besar tidak menghentikan pengguna lain. vLLM mengaktifkannya secara default jika memungkinkan.

## Lihat juga

-   [KV cache](https://broadrouter.com/id/glossary/kv-cache/) (istilah)
-   [Time to first token (TTFT)](https://broadrouter.com/id/glossary/time-to-first-token/) (istilah)
-   [Token per detik (tokens per second, TPS)](https://broadrouter.com/id/glossary/tokens-per-second/) (istilah)
-   [Throughput](https://broadrouter.com/id/glossary/throughput/) (istilah)
-   [Latensi (latency)](https://broadrouter.com/id/glossary/latency/) (istilah)
-   [vLLM](https://broadrouter.com/id/glossary/vllm/) (istilah)
-   [Streaming chat completions dan menangani koneksi terputus](https://broadrouter.com/id/guides/streaming-chat-completions/) (panduan)
-   [Latensi LLM: TTFT vs token per detik vs waktu end-to-end](https://broadrouter.com/id/blog/llm-latency-ttft-throughput/) (artikel)
-   [Self-hosting LLM vs API: biaya sebenarnya dan titik impasnya](https://broadrouter.com/id/blog/self-hosting-llm-vs-api-cost/) (artikel)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-prefill-and-decode&utm_content=page-cta) ·

**Sumber**

-   [Zhong dkk., DistServe: Disaggregating Prefill and Decoding for Goodput-optimized LLM Serving, arXiv 2401.09670 (diperiksa 2026-11-15)](https://arxiv.org/abs/2401.09670)
-   [Agrawal dkk., Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-Serve, arXiv 2403.02310 (diperiksa 2026-11-15)](https://arxiv.org/abs/2403.02310)
-   [Dokumentasi vLLM, optimasi dan tuning: chunked prefill (diperiksa 2026-11-15)](https://docs.vllm.ai/en/latest/configuration/optimization/)
