---
title: "RAG में chunking क्या है? chunk size और overlap समझें"
description: "Chunking दस्तावेज़ों को ऐसे टुकड़ों में बाँटती है जिन्हें RAG सिस्टम embed, इंडेक्स और retrieve कर सके। chunk size और overlap, आम सेटिंग और लागत के ट्रेड-ऑफ़।"
url: https://broadrouter.com/hi/glossary/chunking/
lang: hi
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

यह पेज अंग्रेज़ी से AI की मदद से अनुवाद किया गया है। [अंग्रेज़ी मूल पढ़ें](https://broadrouter.com/glossary/chunking/) (2026-11-15 को अपडेट किया गया).

# चंकिंग (chunking, RAG)

अपडेट किया गया 2026-11-15

Chunking retrieval पाइपलाइन का वह चरण है जो दस्तावेज़ों को embed और इंडेक्स करने से पहले छोटे टुकड़ों, यानी chunks, में बाँटता है। Chunk size तय करता है कि हर टुकड़े में कितना टेक्स्ट हो, और chunk overlap पड़ोसी chunks के बीच कुछ टेक्स्ट दोहराता है ताकि सीमा पर कटे विचार न खोएँ।

अन्य नाम: चंकिंग, टेक्स्ट चंकिंग, chunking kya hai, chunk size kya hai, chunk size, chunk overlap, text chunking, document chunking, chunking strategy

Retriever आधा दस्तावेज़ नहीं लौटा सकता। टुकड़े क्या होंगे, यह chunking तय करती है।

## यह कैसे काम करता है

LangChain के डॉक्स मक़सद सीधे बताते हैं: text splitters “break large docs into smaller chunks that will be retrievable individually and fit within model context window limit.” (अनुवाद: बड़े दस्तावेज़ों को छोटे chunks में तोड़ते हैं जो अलग-अलग retrieve हो सकें और मॉडल की कॉन्टेक्स्ट विंडो की सीमा में समा सकें।) फिर हर chunk [embeddings](https://broadrouter.com/hi/glossary/embeddings/) में बदलकर [वेक्टर डेटाबेस](https://broadrouter.com/hi/glossary/vector-database/) में रखा जाता है, या कीवर्ड सर्च के लिए इंडेक्स होता है।

ज़्यादातर chunkers को दो संख्याएँ नियंत्रित करती हैं:

-   **Chunk size**: chunk की अधिकतम लंबाई, कैरेक्टर या टोकन में।
-   **Chunk overlap**: एक chunk के अंत का कितना टेक्स्ट अगले की शुरुआत में दोहराया जाए।

Splitters इसमें भी अलग हैं कि वे कहाँ काटते हैं। LangChain ज़्यादातर मामलों में अपने recursive splitter से शुरू करने की सलाह देता है। यह पैराग्राफ़ जैसी बड़ी इकाइयों को पूरा रखने की कोशिश करता है, और इकाई बहुत बड़ी हो तो वाक्यों पर, फिर शब्दों पर आता है। LlamaIndex का `SentenceSplitter` वाक्य की सीमाओं पर काम करता है; उसके डॉक्स इसे साफ़ सेटिंग के साथ दिखाते हैं:

```python
from llama_index.core.node_parser import SentenceSplitter

splitter = SentenceSplitter(chunk_size=1024, chunk_overlap=20)
nodes = splitter.get_nodes_from_documents(documents)
```

एक हिसाब: 100,000 टोकन का कॉर्पस 500 टोकन के chunks में 50 टोकन overlap के साथ बाँटने पर लगभग 222 chunks बनते हैं (हर नया chunk 450 नए टोकन जोड़ता है) और लगभग 111,000 टोकन embed करने होते हैं, बिना overlap से 11% ज़्यादा।

## यह क्यों मायने रखता है

-   **Recall।** बहुत छोटे chunks संदर्भ खो देते हैं; बहुत बड़े chunks मैच को असंबंधित टेक्स्ट से पतला कर देते हैं।
-   **LLM लागत।** निकाले गए chunks इनपुट टोकन के रूप में भेजे जाते हैं। 1,000 टोकन के पाँच chunks हर सवाल में 5,000 इनपुट टोकन जोड़ते हैं।
-   **इंडेक्स लागत।** overlap और छोटे chunks दोनों embed और स्टोर करने वाले वेक्टर की संख्या बढ़ाते हैं।
-   **भाषा।** अरबी शब्दों में clitics और डायक्रिटिक्स हो सकते हैं जो टोकन गिनती और मिलान बदलते हैं। [अरबी RAG सर्च](https://broadrouter.com/hi/blog/arabic-rag-search/) अरबी के लिए chunking और नॉर्मलाइज़ेशन समझाती है।

Chunking एक लीवर है। [Hybrid search](https://broadrouter.com/hi/glossary/hybrid-search/) या [reranker](https://broadrouter.com/hi/glossary/reranking/) जोड़ना अक्सर सिर्फ़ आकार ट्यून करने से ज़्यादा मदद करता है।

## BroadNet Inference पर

BroadNet embeddings एंडपॉइंट नहीं देता, इसलिए chunking और embedding अपने टूल या किसी दूसरे प्रोवाइडर से करें, और निकाले गए chunks BroadNet के चैट मॉडल को भेजें। लंबे कॉन्टेक्स्ट वाले मॉडल ट्रेड-ऑफ़ बदल देते हैं: [DeepSeek V4.1 Flash](https://broadrouter.com/hi/models/deepseek-v4.1-flash/) और [GLM 5.3](https://broadrouter.com/hi/models/glm-5.3/) 1,048,576 टोकन लेते हैं, इसलिए छोटा कॉर्पस बिना retrieval के भी समा सकता है। [लंबा कॉन्टेक्स्ट बनाम RAG](https://broadrouter.com/hi/blog/long-context-vs-rag/) दोनों की तुलना करती है।

[RAG chunking कैलकुलेटर](https://broadrouter.com/tools/rag-chunking-calculator/) आपकी सेटिंग के लिए chunks की संख्या, इंडेक्स का आकार और प्रति क्वेरी टोकन का अनुमान देता है, और [RAG chunk size और overlap](https://broadrouter.com/hi/blog/rag-chunk-size-overlap/) प्रकाशित टेस्ट समझाती है।

## अक्सर पूछे जाने वाले सवाल

### शुरुआत किस chunk size से करूँ?

कोई एक सही मान नहीं है। एक शुरुआती आकार चुनें, जाने-पहचाने जवाबों वाले असली सवालों का छोटा टेस्ट सेट बनाएँ, और दो-तीन आकारों पर retrieval hit rate की तुलना करें। RAG chunk size वाली पोस्ट प्रकाशित नतीजे इकट्ठा करती है।

### क्या overlap से इंडेक्स बड़ा होता है?

हाँ। overlap वाला टेक्स्ट एक से ज़्यादा बार स्टोर और embed होता है, इसलिए इंडेक्स का आकार और embedding लागत overlap के हिस्से के साथ बढ़ती है।

### कैरेक्टर से chunk करूँ या टोकन से?

टोकन पर आधारित आकार वही गिनते हैं जो embedding मॉडल और LLM असल में गिनते हैं। कैरेक्टर वाले आकार सरल हैं, लेकिन उतने ही कैरेक्टर अलग भाषाओं में, अरबी समेत, बहुत अलग संख्या के टोकन हो सकते हैं।

## यह भी देखें

-   [RAG (retrieval-augmented generation)](https://broadrouter.com/hi/glossary/rag/) (शब्द)
-   [एम्बेडिंग (embeddings)](https://broadrouter.com/hi/glossary/embeddings/) (शब्द)
-   [वेक्टर डेटाबेस (vector database)](https://broadrouter.com/hi/glossary/vector-database/) (शब्द)
-   [हाइब्रिड सर्च (hybrid search)](https://broadrouter.com/hi/glossary/hybrid-search/) (शब्द)
-   [रीरैंकिंग (reranking)](https://broadrouter.com/hi/glossary/reranking/) (शब्द)
-   [कॉन्टेक्स्ट विंडो (context window)](https://broadrouter.com/hi/glossary/context-window/) (शब्द)
-   [OpenAILike के ज़रिए BroadNet Inference के साथ LlamaIndex](https://broadrouter.com/hi/guides/llamaindex-openailike/) (गाइड)
-   [BroadNet Inference के साथ LangChain इस्तेमाल करें](https://broadrouter.com/hi/guides/langchain-openai-base-url/) (गाइड)
-   [RAG चंक साइज़ और ओवरलैप: रिट्रीवल और लागत पर इनका असर](https://broadrouter.com/hi/blog/rag-chunk-size-overlap/) (लेख)
-   [अरबी RAG: normalisation, chunking और retrieval जो सच में काम करे](https://broadrouter.com/hi/blog/arabic-rag-search/) (लेख)
-   [लॉन्ग कॉन्टेक्स्ट बनाम RAG: कब 1M टोकन वेक्टर DB की जगह लेते हैं](https://broadrouter.com/hi/blog/long-context-vs-rag/) (लेख)

इसे अपने असली वर्कलोड पर आज़माएँ। नए अकाउंट Gemma और ट्रांसक्रिप्शन के लिए US$5 के क्रेडिट से शुरू होते हैं। DeepSeek, GLM, और Qwen3.8 के लिए टॉप-अप ज़रूरी है।

[शुरू करें](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-glossary-chunking&utm_content=page-cta) ·

**स्रोत**

-   [LangChain डॉक्स, text splitters (जाँच: 2026-11-15)](https://docs.langchain.com/oss/python/integrations/splitters)
-   [LlamaIndex डॉक्स, node parser usage pattern (SentenceSplitter) (जाँच: 2026-11-15)](https://developers.llamaindex.ai/python/framework/module_guides/loading/node_parsers/)
