Retriever आधा दस्तावेज़ नहीं लौटा सकता। टुकड़े क्या होंगे, यह chunking तय करती है।
यह कैसे काम करता है
LangChain के डॉक्स मक़सद सीधे बताते हैं: text splitters “break large docs into smaller chunks that will be retrievable individually and fit within model context window limit.” (अनुवाद: बड़े दस्तावेज़ों को छोटे chunks में तोड़ते हैं जो अलग-अलग retrieve हो सकें और मॉडल की कॉन्टेक्स्ट विंडो की सीमा में समा सकें।) फिर हर chunk embeddings में बदलकर वेक्टर डेटाबेस में रखा जाता है, या कीवर्ड सर्च के लिए इंडेक्स होता है।
ज़्यादातर chunkers को दो संख्याएँ नियंत्रित करती हैं:
- Chunk size: chunk की अधिकतम लंबाई, कैरेक्टर या टोकन में।
- Chunk overlap: एक chunk के अंत का कितना टेक्स्ट अगले की शुरुआत में दोहराया जाए।
Splitters इसमें भी अलग हैं कि वे कहाँ काटते हैं। LangChain ज़्यादातर मामलों में अपने recursive splitter से शुरू करने की सलाह देता है। यह पैराग्राफ़ जैसी बड़ी इकाइयों को पूरा रखने की कोशिश करता है, और इकाई बहुत बड़ी हो तो वाक्यों पर, फिर शब्दों पर आता है। LlamaIndex का SentenceSplitter वाक्य की सीमाओं पर काम करता है; उसके डॉक्स इसे साफ़ सेटिंग के साथ दिखाते हैं:
from llama_index.core.node_parser import SentenceSplitter
splitter = SentenceSplitter(chunk_size=1024, chunk_overlap=20)
nodes = splitter.get_nodes_from_documents(documents)
एक हिसाब: 100,000 टोकन का कॉर्पस 500 टोकन के chunks में 50 टोकन overlap के साथ बाँटने पर लगभग 222 chunks बनते हैं (हर नया chunk 450 नए टोकन जोड़ता है) और लगभग 111,000 टोकन embed करने होते हैं, बिना overlap से 11% ज़्यादा।
यह क्यों मायने रखता है
- Recall। बहुत छोटे chunks संदर्भ खो देते हैं; बहुत बड़े chunks मैच को असंबंधित टेक्स्ट से पतला कर देते हैं।
- LLM लागत। निकाले गए chunks इनपुट टोकन के रूप में भेजे जाते हैं। 1,000 टोकन के पाँच chunks हर सवाल में 5,000 इनपुट टोकन जोड़ते हैं।
- इंडेक्स लागत। overlap और छोटे chunks दोनों embed और स्टोर करने वाले वेक्टर की संख्या बढ़ाते हैं।
- भाषा। अरबी शब्दों में clitics और डायक्रिटिक्स हो सकते हैं जो टोकन गिनती और मिलान बदलते हैं। अरबी RAG सर्च अरबी के लिए chunking और नॉर्मलाइज़ेशन समझाती है।
Chunking एक लीवर है। Hybrid search या reranker जोड़ना अक्सर सिर्फ़ आकार ट्यून करने से ज़्यादा मदद करता है।
BroadNet Inference पर
BroadNet embeddings एंडपॉइंट नहीं देता, इसलिए chunking और embedding अपने टूल या किसी दूसरे प्रोवाइडर से करें, और निकाले गए chunks BroadNet के चैट मॉडल को भेजें। लंबे कॉन्टेक्स्ट वाले मॉडल ट्रेड-ऑफ़ बदल देते हैं: DeepSeek V4.1 Flash और GLM 5.3 1,048,576 टोकन लेते हैं, इसलिए छोटा कॉर्पस बिना retrieval के भी समा सकता है। लंबा कॉन्टेक्स्ट बनाम RAG दोनों की तुलना करती है।
RAG chunking कैलकुलेटर आपकी सेटिंग के लिए chunks की संख्या, इंडेक्स का आकार और प्रति क्वेरी टोकन का अनुमान देता है, और RAG chunk size और overlap प्रकाशित टेस्ट समझाती है।