---
title: "Ano ang prefill at decode? Dalawang yugto ng LLM inference"
description: "Prefill: binabasa ang buong prompt nang sabay. Decode: isinusulat ang sagot nang isa-isang token. Bakit sila magkaiba at paano nila itinatakda ang TTFT at bilis."
url: https://broadrouter.com/fil/glossary/prefill-and-decode/
lang: fil
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/glossary/prefill-and-decode/) (na-update noong 2026-11-16).

# Prefill at decode

Na-update 2026-11-16

Ang prefill at decode ay ang dalawang yugto ng LLM inference. Sa prefill, pinoproseso ng model ang buong prompt nang parallel at pinupuno ang KV cache nito; sa decode, binubuo nito ang sagot nang isang token bawat hakbang, gamit ulit ang cache na iyon. Ang prefill ang halos nagtatakda ng time to first token; ang decode, ng bilis ng output.

Tinatawag ding: prefill and decode, prefill, prefill phase, decode phase, prefill stage, prompt processing

Dalawang magkaibang trabaho ang ginagawa ng isang chat request: basahin ang prompt, saka isulat ang sagot. Prefill at decode ang tawag dito ng mga inference engineer, at magkaibang-magkaiba ang kilos nila sa GPU.

## Paano ito gumagana

1.  **Prefill.** Binabasa ng model ang bawat token ng prompt sa iisang parallel na pass at itinatago ang attention keys at values ng bawat token sa [KV cache](https://broadrouter.com/fil/glossary/kv-cache/). Wala pang ibinabalik.
2.  **Decode.** Bumubuo ang model ng isang token, idinadagdag ang keys at values nito sa cache, at umuulit hanggang tumigil ito o maabot ang `max_tokens`.

Diretsahang inilalahad ng Sarathi-Serve paper ang pagkakaiba: “Prefill iterations have high latency but saturate GPU compute due to parallel processing of the input prompt” (Salin ng BroadRouter: “Mataas ang latency ng mga prefill iteration pero napupuno nila ang GPU compute dahil sa parallel na pagproseso ng input prompt”), habang “decode iterations have low latency but also low compute utilization.” (Salin ng BroadRouter: “mababa ang latency ng mga decode iteration pero mababa rin ang paggamit nila ng compute.”)

Tumutugma ang dalawang yugto sa dalawang numero ng latency na nararamdaman ng mga user. Pinangalanan sila ng DistServe paper: “time to first token (TTFT) for the prefill phase and time per output token (TPOT) of each request for the decoding phase.” (Salin ng BroadRouter: “time to first token (TTFT) para sa prefill phase at time per output token (TPOT) ng bawat request para sa decoding phase.”)

Isang halimbawa: ang request na may 20,000-token na prompt at 300-token na sagot ay gagawa ng lahat ng 20,000 token ng prefill bago lumabas ang unang na-stream na token, saka 300 sunud-sunod na decode step. Kapag hinati mo sa dalawa ang prompt, umiikli ang paghihintay sa unang token; hindi nito binabago kung gaano kabilis dumating ang 300 token.

## Bakit ito mahalaga

-   **Sumusunod ang [time to first token](https://broadrouter.com/fil/glossary/time-to-first-token/) sa laki ng prompt.** Nagdadagdag ng prefill na trabaho ang mahahabang system prompt, dokumento at listahan ng tool. Nalalaktawan ang ilan dito ng mga naka-cache na prefix, kaya mas mabilis makapagsimula ang mahahabang prompt dahil sa [cached input tokens](https://broadrouter.com/fil/glossary/cached-input-tokens/).
-   **Numero ng decode ang [tokens per second](https://broadrouter.com/fil/glossary/tokens-per-second/).** Nakadepende ang bilis ng output sa kung gaano kabilis tumakbo ang bawat decode step, na sinusubukang pabilisin ng [speculative decoding](https://broadrouter.com/fil/glossary/speculative-decoding/).
-   **Nagkakasagabal ang dalawang yugto.** Kapag pinapatakbo ng server ang dalawa sa iisang GPU, kayang patigilin ng isang malaking prefill ang decode ng ibang user. Iniuulat ng DistServe ang “strong prefill-decoding interferences” (Salin ng BroadRouter: “malakas na sagabalan ng prefill at decoding”) at inililipat nito ang dalawang yugto sa magkaibang GPU. Ang Sarathi-Serve naman ay “splits a prefill request into near equal sized chunks” (Salin ng BroadRouter: “hinahati ang isang prefill request sa halos magkakasinlaking chunk”) at sine-schedule ang mga ito “without pausing ongoing decodes” (Salin ng BroadRouter: “nang hindi pinapatigil ang mga tumatakbong decode”).
-   **Ipinapakita ng mga engine ang trade-off.** Sinasabi ng tuning guide ng vLLM na sa chunked prefill, nakakapag-batch ito ng mga prefill chunk kasama ng mga decode request. Pinapaganda ng mas maliit na `max_num_batched_tokens` ang inter-token latency, habang pinapaboran ng mas malaki ang TTFT at [throughput](https://broadrouter.com/fil/glossary/throughput/).

Ipinapakita ng [gabay sa latency, TTFT at throughput](https://broadrouter.com/fil/blog/llm-latency-ttft-throughput/) kung paano sukatin ang dalawang yugto mula sa panig ng client.

## Sa BroadNet Inference

Hindi inilalathala ng BroadNet kung paano sine-schedule ng mga server nito ang prefill at decode. Ang epekto ang nakikita mo: i-stream ang isang response gaya sa [gabay sa streaming](https://broadrouter.com/fil/guides/streaming-chat-completions/), i-log ang oras hanggang sa unang content chunk (halos prefill at pila) at ang bilis ng mga chunk pagkatapos nito (decode). Sa [GLM 5.3](https://broadrouter.com/fil/models/glm-5.3/), [DeepSeek V4.1 Flash](https://broadrouter.com/fil/models/deepseek-v4.1-flash/) at [Qwen3.8 27B](https://broadrouter.com/fil/models/qwen3.8-27b/), binubuo rin sa decode ang reasoning tokens, kaya inaantala nila ang nakikitang sagot at bilang sila sa `max_tokens`.

## Mga karaniwang pagkakamali

-   Pagsisi sa bilis ng output ng model kapag mabagal ang unang token. Tingnan muna ang haba ng prompt.
-   Pag-benchmark gamit ang napakaikling prompt. Mas mahaba nang husto ang prefill ng mga totoong prompt na may mahabang context.

## Mga tanong

### Bakit bumabagal ang unang token kapag mahaba ang prompt?

Kailangang dumaan sa prefill ang bawat token ng prompt bago makasulat ng anuman ang model. Mas mahabang prompt, mas maraming prefill na trabaho, kaya lumalaki ang time to first token kasabay ng haba ng prompt, maliban kung galing sa cache ang bahagi ng prompt.

### Pinapabagal ba ng mas mahabang sagot ang unang token?

Hindi. Ang unang token ay naghihintay sa prefill ng prompt. Mas maraming decode step lang ang idinadagdag ng mas mahabang sagot matapos dumating ang unang token.

### Ano ang chunked prefill?

Isang paraan ng scheduling na hinahati ang mahabang prompt sa mga piraso at hinahalo ang mga ito sa mga tumatakbong decode step, para hindi mapatigil ng isang malaking prompt ang ibang user. Naka-enable ito bilang default sa vLLM kung saan puwede.

## Tingnan din

-   [KV cache](https://broadrouter.com/fil/glossary/kv-cache/) (termino)
-   [Time to first token (TTFT)](https://broadrouter.com/fil/glossary/time-to-first-token/) (termino)
-   [Tokens per second (TPS)](https://broadrouter.com/fil/glossary/tokens-per-second/) (termino)
-   [Throughput](https://broadrouter.com/fil/glossary/throughput/) (termino)
-   [Latency](https://broadrouter.com/fil/glossary/latency/) (termino)
-   [vLLM](https://broadrouter.com/fil/glossary/vllm/) (termino)
-   [Paano mag-stream ng chat completions at ayusin ang naputol na stream](https://broadrouter.com/fil/guides/streaming-chat-completions/) (gabay)
-   [LLM latency: TTFT vs tokens per second vs end-to-end na oras](https://broadrouter.com/fil/blog/llm-latency-ttft-throughput/) (artikulo)
-   [Self-hosting ng LLM vs API: ang tunay na gastos at break-even](https://broadrouter.com/fil/blog/self-hosting-llm-vs-api-cost/) (artikulo)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-glossary-prefill-and-decode&utm_content=page-cta) ·

**Mga source**

-   [Zhong et al., DistServe: Disaggregating Prefill and Decoding for Goodput-optimized LLM Serving, arXiv 2401.09670 (sinuri noong 2026-11-15)](https://arxiv.org/abs/2401.09670)
-   [Agrawal et al., Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-Serve, arXiv 2403.02310 (sinuri noong 2026-11-15)](https://arxiv.org/abs/2403.02310)
-   [Docs ng vLLM, optimization and tuning: chunked prefill (sinuri noong 2026-11-15)](https://docs.vllm.ai/en/latest/configuration/optimization/)
