Ang context window ang working memory ng model para sa isang request. Lahat ng kailangang makita ng model, at lahat ng isinusulat nito pabalik, ay kailangang magkasya rito.
Paano ito gumagana
Sa token sinusukat ang window. Inilalarawan ito ng docs ng Anthropic bilang “all the text a language model can reference when generating a response, including the response itself.” (Salin ng BroadRouter: “lahat ng text na puwedeng balikan ng language model habang bumubuo ng sagot, kasama ang mismong sagot.”) Kasama rito ang:
- ang system prompt at bawat mensahe, kasama ang mga naunang turn;
- tool definitions at tool results;
- mga dokumento at larawan;
- ang output, kasama ang nakatagong reasoning tokens.
Kaya hati ang budget. Sa window na 1,048,576 token, ang prompt na 1,040,000 token ay mag-iiwan ng mga 8,000 token para sa reasoning at sagot. I-set ang max_tokens nang may ganitong isip.
Hindi naaalala ng model ang mga naunang request. Mukhang tuloy-tuloy ang chat dahil lang ipinapadala ulit ng client ang history sa bawat turn, kaya unti-unting napupuno ng mahabang usapan ang window.
Bakit ito mahalaga
- Kakayahan. Sa malaking window, kasya sa isang request ang buong codebase, isang set ng kontrata o ilang oras ng transcript, kaya napag-uugnay ng model ang mga impormasyon sa mga ito.
- Gastos. Sinisingil bilang input ang bawat token sa window sa isang per-token na key. Pinabababa ng caching ang presyo ng paulit-ulit na prefix, pero sumasakop pa rin sa window ang mga cached token.
- Kalidad. Hindi laging mas maganda ang mas marami. “Context rot” ang tawag ng Anthropic sa pagbaba ng accuracy sa napakahahabang prompt. Piliin nang maingat ang ipinapadala mo.
- Latency. Mas matagal bago lumabas ang unang token sa mahahabang prompt.
Sa BroadNet Inference
| Model | Context window |
|---|---|
| DeepSeek V4.1 Flash | 1,048,576 token |
| GLM 5.3 | 1,048,576 token |
| Qwen3.8 27B | 262,144 token |
| BroadNet Gemma 4 VL 26B | 32,768 token |
Sakop ng window ang prompt at sagot nang magkasama, at hindi binabawasan ng BroadNet ang context mo. Nagre-reason muna ang DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B bago sumagot, kaya mag-iwan ng espasyo: walang laman ang sagot kapag puno ang window at maliit ang output budget. Tingnan kung bakit walang laman ang sagot ng mga reasoning model.
Kasama sa mga unlimited plan ang buong 1M-token na window sa DeepSeek V4.1 Flash. Para malaman kung kailan mas sulit ang ganito kalaking context kaysa sa retrieval, basahin ang gabay sa 1M-token na context window.
Mga karaniwang pagkakamali
- Pagturing sa window bilang haba ng output. Hiwalay na itinatakda ang output limit gamit ang
max_tokens. - Walang katapusang pagpapadala ng buong history. Ibuod o tanggalin ang mga lumang turn bago mapuno ang window.