BroadRouter
Magsimula

Context window

Na-update

Ang context window ay ang pinakamaraming token na kayang hawakan ng isang language model sa iisang request. Sakop nito ang prompt, history ng usapan, tool definitions, mga larawan at ang nabuong output, kasama ang anumang reasoning tokens. Ang hindi kasya ay kailangang bawasan, ibuod o hatiin sa ilang request.

Tinatawag ding: context, context length, laki ng context, token limit, context limit, context window, context size

Ang context window ang working memory ng model para sa isang request. Lahat ng kailangang makita ng model, at lahat ng isinusulat nito pabalik, ay kailangang magkasya rito.

Paano ito gumagana

Sa token sinusukat ang window. Inilalarawan ito ng docs ng Anthropic bilang “all the text a language model can reference when generating a response, including the response itself.” (Salin ng BroadRouter: “lahat ng text na puwedeng balikan ng language model habang bumubuo ng sagot, kasama ang mismong sagot.”) Kasama rito ang:

  • ang system prompt at bawat mensahe, kasama ang mga naunang turn;
  • tool definitions at tool results;
  • mga dokumento at larawan;
  • ang output, kasama ang nakatagong reasoning tokens.

Kaya hati ang budget. Sa window na 1,048,576 token, ang prompt na 1,040,000 token ay mag-iiwan ng mga 8,000 token para sa reasoning at sagot. I-set ang max_tokens nang may ganitong isip.

Hindi naaalala ng model ang mga naunang request. Mukhang tuloy-tuloy ang chat dahil lang ipinapadala ulit ng client ang history sa bawat turn, kaya unti-unting napupuno ng mahabang usapan ang window.

Bakit ito mahalaga

  • Kakayahan. Sa malaking window, kasya sa isang request ang buong codebase, isang set ng kontrata o ilang oras ng transcript, kaya napag-uugnay ng model ang mga impormasyon sa mga ito.
  • Gastos. Sinisingil bilang input ang bawat token sa window sa isang per-token na key. Pinabababa ng caching ang presyo ng paulit-ulit na prefix, pero sumasakop pa rin sa window ang mga cached token.
  • Kalidad. Hindi laging mas maganda ang mas marami. “Context rot” ang tawag ng Anthropic sa pagbaba ng accuracy sa napakahahabang prompt. Piliin nang maingat ang ipinapadala mo.
  • Latency. Mas matagal bago lumabas ang unang token sa mahahabang prompt.

Sa BroadNet Inference

Model Context window
DeepSeek V4.1 Flash 1,048,576 token
GLM 5.3 1,048,576 token
Qwen3.8 27B 262,144 token
BroadNet Gemma 4 VL 26B 32,768 token

Sakop ng window ang prompt at sagot nang magkasama, at hindi binabawasan ng BroadNet ang context mo. Nagre-reason muna ang DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B bago sumagot, kaya mag-iwan ng espasyo: walang laman ang sagot kapag puno ang window at maliit ang output budget. Tingnan kung bakit walang laman ang sagot ng mga reasoning model.

Kasama sa mga unlimited plan ang buong 1M-token na window sa DeepSeek V4.1 Flash. Para malaman kung kailan mas sulit ang ganito kalaking context kaysa sa retrieval, basahin ang gabay sa 1M-token na context window.

Mga karaniwang pagkakamali

  • Pagturing sa window bilang haba ng output. Hiwalay na itinatakda ang output limit gamit ang max_tokens.
  • Walang katapusang pagpapadala ng buong history. Ibuod o tanggalin ang mga lumang turn bago mapuno ang window.

Mga tanong

Ano ang mangyayari kung mas mahaba ang prompt ko kaysa sa context window?

Tatanggihan ng API ang request, kadalasan na may 400 error. Halimbawa, ibinabalik ng Anthropic ang "prompt is too long" (Salin ng BroadRouter: "masyadong mahaba ang prompt"). May mga chat app na kusang nagbabawas ng lumang mensahe; karamihan sa mga API ay hindi.

Mas maganda ba lagi ang mas malaking context window?

Hindi. Mas mahal at mas matagal iproseso ang mahahabang prompt, at ayon sa Anthropic, puwedeng bumaba ang accuracy at recall habang dumarami ang token. Ipadala lang ang kailangan ng task.

Binabawasan ba ng BroadNet ang context ko?

Hindi. Hindi binabawasan ng BroadNet Inference ang context mo. Kung hindi kasya ang request, ikaw mismo ang magpaikli nito.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity