Tinatalakay ng gabay sa 1M-token na context window kung ano ang kasya sa isang milyong token at magkano ang isang request. Sinasagot ng post na ito ang mas makitid na tanong na lumalabas sa bawat architecture review: puwede ba nating burahin ang vector database at ang RAG pipeline sa paligid nito? Minsan, oo. Ganito magpasya, sa apat na aspeto: gastos, latency, recall at maintenance.
Kailan napapalitan ng long context ang RAG?
Dapat totoo ang lahat ng apat na ito:
- Kasya ang corpus. Nananatili sa loob ng context window ang prompt kasama ang sagot at reasoning, nang may margin. Sa DeepSeek V4.1 Flash at GLM 5.3, 1,048,576 token ang window na iyon (paghahambing ng dalawa). Tinitingnan ng context window calculator kung kasya ang mga dokumento mo.
- Bihira itong magbago. Ayos lang ang manual na ina-update buwan-buwan. Hindi ayos ang ticket queue na nag-a-update bawat minuto.
- Puwedeng makita ng lahat ang kabuuan nito. Iisang shared na corpus, walang permission kada user na kailangang i-filter.
- Saklaw ng mga tanong ang buong corpus. Kailangang nakikita ang lahat para sa “Aling mga kontrata ang salungat sa bagong patakaran?”; hindi kailangan para sa “gaano katagal ang refund window?”.
Kung mali ang isa, panatilihin ang retrieval, o gumamit ng hybrid.
Paano maghahambing ang gastos kada query?
Kumuha ng document set na 400,000 token at tanong na may sagot na 500 token. Sabihin nating 8,000 token ng chunk ang nire-retrieve ng RAG. Sa isang pay-as-you-go key na may DeepSeek V4.1 Flash:
| Paraan | Input kada query | Gastos sa input kada query |
|---|---|---|
| Long context, unang query | 400,000 bago | 0.4 × $0.175 |
| Long context, paulit-ulit na query, naka-cache ang prefix | mga 400,000 cached | mga 0.4 × $0.0055 |
| RAG | 8,000 bago | 0.008 × $0.175 |
Pareho ang output sa bawat kaso: 500 token × $0.52 kada 1M. (Ang bawat multiplier ay milyun-milyong token na pinarami sa presyo kada 1M.)
Tatlong bagay ang kasunod nito. Kung walang caching, 50 ulit ng RAG ang gastos ng long context kada query sa input, dahil 50 ulit na token ang ipinapadala nito. Kapag naka-cache ang corpus, lumiliit nang malaki ang agwat, dahil ilang porsiyento lang ng bagong input ang presyo ng cached input sa model na ito. Pero tumatagal lang ang caching habang byte-identical ang prefix, kaya dapat nauuna at stable ang corpus; tingnan ang istruktura ng prompt para sa caching. May sariling gastos ang RAG na hindi kasama sa table na ito: ang pag-embed ng corpus, ang pagpapatakbo ng vector store, at ang oras ng engineering sa pag-tune ng chunking. Kinukuwenta ng embedding cost calculator ang presyo ng embedding. Kinukuwenta naman ng RAG chunking calculator ang panig ng query: mga chunk, token kada query at buwanang bill ng LLM.
Para makita kung magkano ang halaga ng sarili mong cache rate, subukan ang prompt caching calculator. Sa flat na plan, nawawala ang input column: $60 kada buwan kada session ang Full Moon na walang token meter, kaya pareho ang gastos ng 400,000-token na prompt at ng maikli.
Paano maghahambing ang latency?
Binabasa ng model ang buong prompt bago nito isulat ang unang token. Humahaba ang time to first token kasabay ng haba ng prompt, at kapansin-pansing mas matagal magsimula ang prompt na daan-daang libong token kaysa sa 8,000 token. Nakakatulong ang mga cached prefix sa maraming serving system. Kadalasang maliit lang ang idinadagdag ng vector search mismo; maliit ang retrieval call kumpara sa generation.
Kaya para sa interactive na assistant na kailangang sumagot sa loob ng isa o dalawang segundo, mas ligtas na default ang RAG. Para sa analyst na nagtatanong ng isang malalim na tanong at naghihintay ng sagot, ayos lang ang long context. Sukatin ang TTFT sa sarili mong mga prompt sa laking balak mong ipadala.
Alin ang mas maganda ang recall?
Walang perpekto, at magkaiba ang paraan ng pagpalya nila.
Ang long context ay puwedeng mawalan ng mga fact sa gitna (lost in the middle). Natuklasan ng pag-aaral na Lost in the Middle na pinakamahusay na nagagamit ng mga model ang impormasyon kapag nasa simula o dulo ito ng input, at mas mahina sa gitna. Natuklasan ng RULER benchmark na ang mga model na halos perpekto sa simpleng needle-in-a-haystack na test ay bumababa ang kalidad sa mas mahihirap na gawain habang lumalaki ang input, at sa mga model na nagsasabing kaya nila ang 32K token o higit pa, “only half of them” (salin: kalahati lang sa kanila) ang nakapagpanatili ng kasiya-siyang performance sa 32K. Mas magaling ang mga mas bagong model, pero hindi pareho ang ina-advertise na window at ang window kung saan nananatili ang kalidad.
Ang RAG ay pumapalya bago pa magsimula ang model: kapag hindi nakuha ng retriever ang passage, hindi ito kailanman makikita ng model. Klasikong mintis ang mga tanong na nangangailangan ng maraming passage, o gumagamit ng ibang salita kaysa sa source.
| Uri ng palya | Long context | RAG |
|---|---|---|
| Nakabaon ang fact sa gitna ng prompt | Lumalaki ang panganib kasabay ng haba | Mababa, maikli ang prompt |
| Kailangan ng sagot ang 20 nakakalat na passage | Malakas | Mahina maliban kung malaki ang top-k |
| Iba ang salita ng query kaysa sa source | Malakas | Depende sa embeddings at reranking |
| Mas malaki ang corpus kaysa sa window | Hindi posible | Malakas |
Dalawang paraan para mabawasan ito sa long context: ilagay ang tanong sa dulo, pagkatapos ng mga dokumento, at hilingin sa model na i-quote ang mga linyang pinagbabatayan nito.
Paano naman ang maintenance?
System ang RAG: chunking, embeddings, index, muling pag-index kapag may pagbabago, permission filter, at pagsusuri sa kalidad ng retrieval. Prompt naman ang long context: pagsamahin ang mga file na may malinaw na label at ipadala. Para sa maliit na team na may corpus na kasya, totoong trabaho ang naaalis kapag binura ang pipeline. Para sa malaki, nagbabago at may permission na corpus, gumagawa ang pipeline ng trabahong hindi kaya ng long context.
Ang hybrid na nauuwi sa karamihan ng team
- Mag-retrieve nang maluwag, hindi limang chunk kundi buong dokumento, hanggang ilang daang libong token.
- Ayusin ang mga ito sa stable na pagkakasunod (ayon sa document ID, hindi ayon sa score) para ma-cache ang prefix sa magkakaugnay na tanong.
- Ilagay sa huli ang tanong at ipadala ito sa long-context na model.
- Humingi ng citation sa mga label ng dokumento, at i-spot-check ang mga ito.
Napapanatili nito ang abot ng RAG sa napakalaking corpus at ang kakayahan ng long context na mag-reason sa maraming source. Mas mapagpatawad din ito sa mas mahinang retriever, dahil nasa prompt pa rin ang dokumentong muntik nang hindi makuha.
Saan bagay ang BroadNet Inference
May dalawang 1M-token na model ang BroadNet Inference, ang DeepSeek V4.1 Flash at GLM 5.3, at hindi nito binabawasan ang context mo, kaya pumapalya ang sobrang laking request sa halip na tahimik na mawalan ng dokumento. Sinisingil sa mas mababang cached rate ang cached input sa per-token na key, at tuluyang inaalis ng mga unlimited na plan ang token meter para sa DeepSeek V4.1 Flash. Chat completions at transcription ang nakalista sa API reference nito, hindi embeddings endpoint o vector store, kaya sarili mo ang gagamitin para sa kalahating RAG. Mag-iwan ng puwang sa window para sa reasoning token; ipinapaliwanag ng gabay sa reasoning kung bakit. Nasa pricing page ang mga presyo.
