BroadRouter
Magsimula

Chunking (RAG)

Na-update

Ang chunking ay ang hakbang sa retrieval pipeline na naghahati sa mga dokumento sa mas maliliit na piraso, na tinatawag na chunks, bago i-embed at i-index ang mga ito. Itinatakda ng chunk size kung gaano karaming text ang laman ng bawat piraso, at inuulit ng chunk overlap ang ilang text sa magkatabing chunk para hindi mawala ang ideyang naputol.

Tinatawag ding: chunk size, chunk overlap, text chunking, document chunking, chunking strategy, paghahati ng dokumento

Hindi makapagbabalik ang retriever ng kalahating dokumento. Chunking ang nagpapasya kung ano ang mga piraso.

Paano ito gumagana

Simple ang paliwanag ng docs ng LangChain sa layunin: ang mga text splitter ay “break large docs into smaller chunks that will be retrievable individually and fit within model context window limit.” (Salin ng BroadRouter: “hinahati ang malalaking dokumento sa mas maliliit na chunk na puwedeng i-retrieve nang isa-isa at kasya sa limit ng context window ng model.”) Ginagawang embeddings ang bawat chunk at ini-store sa isang vector database, o ini-index para sa keyword search.

Dalawang numero ang kumokontrol sa karamihan ng chunker:

  • Chunk size: ang pinakamahabang haba ng isang chunk, sa character o token.
  • Chunk overlap: kung gaano karaming text mula sa dulo ng isang chunk ang inuulit sa simula ng susunod.

Nagkakaiba rin ang mga splitter sa kung saan sila pumuputol. Inirerekomenda ng LangChain na magsimula sa recursive splitter nito para sa karamihan ng kaso. Sinusubukan nitong panatilihing buo ang mas malalaking unit gaya ng talata, at bumababa sa pangungusap, saka sa salita, kapag masyadong malaki ang unit. Gumagana sa hangganan ng pangungusap ang SentenceSplitter ng LlamaIndex; ipinapakita ito sa docs nito na may tahasang setting:

from llama_index.core.node_parser import SentenceSplitter

splitter = SentenceSplitter(chunk_size=1024, chunk_overlap=20)
nodes = splitter.get_nodes_from_documents(documents)

Isang halimbawang kuwenta: ang 100,000-token na corpus na hinati sa 500-token na chunk na may 50 token na overlap ay magbibigay ng mga 222 chunk (450 bagong token ang dagdag ng bawat bagong chunk) at mga 111,000 token na ie-embed, 11% na mas marami kaysa kung walang overlap.

Bakit ito mahalaga

  • Recall. Nawawalan ng context ang sobrang liit na chunk; nalalabnaw naman ng walang kaugnayang text ang match sa sobrang laki.
  • Gastos sa LLM. Ipinapadala bilang input tokens ang mga na-retrieve na chunk. Limang 1,000-token na chunk ang magdadagdag ng 5,000 input token sa bawat tanong.
  • Gastos sa index. Pinararami ng overlap at ng maliliit na chunk ang bilang ng vector na ie-embed at ii-store.
  • Wika. Puwedeng may clitic at diacritics ang mga salitang Arabic na nagbabago sa bilang ng token at sa matching. Saklaw ng Arabic RAG search ang chunking at normalization para sa Arabic.

Isang lever lang ang chunking. Kadalasang mas nakatutulong ang pagdagdag ng hybrid search o ng reranker kaysa sa pag-tune ng laki lang.

Sa BroadNet Inference

Walang embeddings endpoint ang BroadNet, kaya sariling tools mo o ibang provider ang gagamitin mo sa chunking at embedding, saka mo ipapadala ang mga na-retrieve na chunk sa chat model ng BroadNet. Binabago ng mga long-context model ang trade-off: tumatanggap ang DeepSeek V4.1 Flash at GLM 5.3 ng 1,048,576 token, kaya puwedeng kumasya ang maliit na corpus nang walang retrieval. Ikinukumpara ng Long context vs RAG ang dalawa.

Tinatantiya ng RAG chunking calculator ang bilang ng chunk, laki ng index at token kada query para sa mga setting mo, at ipinapaliwanag ng RAG chunk size at overlap ang mga inilathalang test.

Mga tanong

Anong chunk size ang dapat kong simulan?

Walang iisang tamang value. Pumili ng panimulang laki, gumawa ng maliit na test set ng totoong tanong na alam ang sagot, at ikumpara ang retrieval hit rate sa dalawa o tatlong laki. Tinipon ng post tungkol sa RAG chunk size ang mga inilathalang resulta.

Lumalaki ba ang index dahil sa overlap?

Oo. Higit sa isang beses na ini-store at ine-embed ang overlapping na text, kaya lumalaki ang index at ang gastos ng embedding ayon sa bahagi ng overlap.

Dapat ko bang i-chunk ayon sa character o sa token?

Tumutugma ang laki na batay sa token sa talagang binibilang ng embedding model at ng LLM. Mas simple ang laki na batay sa character, pero puwedeng ibang-iba ang bilang ng token ng parehong bilang ng character sa iba't ibang wika, kasama ang Arabic.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity