Hindi makapagbabalik ang retriever ng kalahating dokumento. Chunking ang nagpapasya kung ano ang mga piraso.
Paano ito gumagana
Simple ang paliwanag ng docs ng LangChain sa layunin: ang mga text splitter ay “break large docs into smaller chunks that will be retrievable individually and fit within model context window limit.” (Salin ng BroadRouter: “hinahati ang malalaking dokumento sa mas maliliit na chunk na puwedeng i-retrieve nang isa-isa at kasya sa limit ng context window ng model.”) Ginagawang embeddings ang bawat chunk at ini-store sa isang vector database, o ini-index para sa keyword search.
Dalawang numero ang kumokontrol sa karamihan ng chunker:
- Chunk size: ang pinakamahabang haba ng isang chunk, sa character o token.
- Chunk overlap: kung gaano karaming text mula sa dulo ng isang chunk ang inuulit sa simula ng susunod.
Nagkakaiba rin ang mga splitter sa kung saan sila pumuputol. Inirerekomenda ng LangChain na magsimula sa recursive splitter nito para sa karamihan ng kaso. Sinusubukan nitong panatilihing buo ang mas malalaking unit gaya ng talata, at bumababa sa pangungusap, saka sa salita, kapag masyadong malaki ang unit. Gumagana sa hangganan ng pangungusap ang SentenceSplitter ng LlamaIndex; ipinapakita ito sa docs nito na may tahasang setting:
from llama_index.core.node_parser import SentenceSplitter
splitter = SentenceSplitter(chunk_size=1024, chunk_overlap=20)
nodes = splitter.get_nodes_from_documents(documents)
Isang halimbawang kuwenta: ang 100,000-token na corpus na hinati sa 500-token na chunk na may 50 token na overlap ay magbibigay ng mga 222 chunk (450 bagong token ang dagdag ng bawat bagong chunk) at mga 111,000 token na ie-embed, 11% na mas marami kaysa kung walang overlap.
Bakit ito mahalaga
- Recall. Nawawalan ng context ang sobrang liit na chunk; nalalabnaw naman ng walang kaugnayang text ang match sa sobrang laki.
- Gastos sa LLM. Ipinapadala bilang input tokens ang mga na-retrieve na chunk. Limang 1,000-token na chunk ang magdadagdag ng 5,000 input token sa bawat tanong.
- Gastos sa index. Pinararami ng overlap at ng maliliit na chunk ang bilang ng vector na ie-embed at ii-store.
- Wika. Puwedeng may clitic at diacritics ang mga salitang Arabic na nagbabago sa bilang ng token at sa matching. Saklaw ng Arabic RAG search ang chunking at normalization para sa Arabic.
Isang lever lang ang chunking. Kadalasang mas nakatutulong ang pagdagdag ng hybrid search o ng reranker kaysa sa pag-tune ng laki lang.
Sa BroadNet Inference
Walang embeddings endpoint ang BroadNet, kaya sariling tools mo o ibang provider ang gagamitin mo sa chunking at embedding, saka mo ipapadala ang mga na-retrieve na chunk sa chat model ng BroadNet. Binabago ng mga long-context model ang trade-off: tumatanggap ang DeepSeek V4.1 Flash at GLM 5.3 ng 1,048,576 token, kaya puwedeng kumasya ang maliit na corpus nang walang retrieval. Ikinukumpara ng Long context vs RAG ang dalawa.
Tinatantiya ng RAG chunking calculator ang bilang ng chunk, laki ng index at token kada query para sa mga setting mo, at ipinapaliwanag ng RAG chunk size at overlap ang mga inilathalang test.