चंक साइज़ और ओवरलैप वे दो संख्याएँ हैं जो हर RAG पाइपलाइन शुरू में तय करती है और शायद ही कभी दोबारा देखती है। यही तय करती हैं कि आप कितने वेक्टर स्टोर करते हैं, कितने टोकन एम्बेड करते हैं, हर सवाल LLM को कितने टोकन भेजता है, और सही अंश मिलता भी है या नहीं। यह पोस्ट दिखाती है कि प्रकाशित टेस्ट में क्या मिला, फिर टोकन का हिसाब लगाती है, ताकि कुछ भी एम्बेड करने से पहले आप हर सेटिंग की लागत देख सकें।
अगर आप अभी तय कर रहे हैं कि RAG इस्तेमाल करना भी है या नहीं, तो लॉन्ग कॉन्टेक्स्ट बनाम RAG से शुरू करें। अरबी डॉक्यूमेंट के लिए इस पोस्ट के साथ अरबी RAG और अरबी टेक्स्ट नॉर्मलाइज़ेशन भी पढ़ें।
चंक साइज़ और ओवरलैप क्या बदलते हैं?
- चंक साइज़ यह है कि आप जो हर टुकड़ा एम्बेड और रिट्रीव करते हैं, उसमें कितने टोकन जाते हैं।
- ओवरलैप यह है कि लगातार चंक आपस में कितने टोकन साझा करते हैं, ताकि सीमा पर कटा वाक्य कम से कम एक चंक में पूरा दिखे।
- Top-k यह है कि आप हर सवाल पर कितने चंक रिट्रीव करते हैं।
ये मिलकर चार चीज़ें तय करते हैं:
| मात्रा | फ़ॉर्मूला (लंबे डॉक्यूमेंट) |
|---|---|
| स्टोर हुए चंक | कॉर्पस टोकन ÷ (साइज़ − ओवरलैप) |
| एम्बेड हुए टोकन | कॉर्पस टोकन × साइज़ ÷ (साइज़ − ओवरलैप) |
| प्रति क्वेरी कॉन्टेक्स्ट | top-k × साइज़ |
| प्रति क्वेरी LLM इनपुट | top-k × साइज़ + सिस्टम प्रॉम्प्ट + सवाल |
पहली दो का भुगतान हर इंडेक्सिंग रन में एक बार होता है, और हर बार दोबारा चंक करने पर फिर से। आख़िरी का भुगतान हर सवाल पर होता है, हमेशा।
प्रकाशित टेस्ट चंक साइज़ के बारे में क्या कहते हैं?
दो सार्वजनिक मूल्यांकन जानने लायक़ हैं, क्योंकि उन्होंने अलग-अलग चीज़ें मापीं।
Chroma (Smith और Troynikov, जुलाई 2024) ने रिट्रीवल को टोकन के स्तर पर मापा: प्रासंगिक टेक्स्ट का कितना हिस्सा रिट्रीव हुआ (रिकॉल), और जो रिट्रीव हुआ उसका कितना हिस्सा प्रासंगिक था। इसमें पाँच रिट्रीव किए गए चंक और OpenAI का text-embedding-3-large इस्तेमाल हुआ। चुनी हुई पंक्तियाँ:
| स्प्लिटर | साइज़ (टोकन) | ओवरलैप | रिकॉल | IoU |
|---|---|---|---|---|
| Recursive | 800 | 400 | 85.4% | 1.5% |
| Token | 800 | 400 | 87.9% | 1.4% |
| Recursive | 400 | 200 | 88.1% | 3.3% |
| Recursive | 400 | 0 | 89.5% | 3.6% |
| Recursive | 200 | 0 | 88.1% | 6.9% |
IoU (intersection over union) मापता है कि रिट्रीव किए गए टेक्स्ट का कितना हिस्सा प्रासंगिक था, इसलिए यह बर्बाद टोकन का पैमाना भी है। 800/400 वाली पंक्तियाँ file search के लिए OpenAI के डिफ़ॉल्ट से मेल खाती हैं; token स्प्लिटर मानकर, Chroma ने पाया कि उस सेटिंग का रिकॉल औसत से थोड़ा नीचे था और बाक़ी पैमानों पर स्कोर सबसे कम। बिना ओवरलैप वाले छोटे चंक ने उतना या ज़्यादा रिकॉल दिया और उनमें अप्रासंगिक टेक्स्ट बहुत कम था।
NVIDIA (जून 2025) ने पाँच डेटासेट पर शुरू से अंत तक जवाब की सटीकता मापी, 15% ओवरलैप के साथ 128 से 2,048 के टोकन चंक पर, और साथ में पेज-स्तर और सेक्शन-स्तर की चंकिंग पर। पेज-स्तर की चंकिंग की औसत सटीकता सबसे ज़्यादा (0.648) और उतार-चढ़ाव सबसे कम रहा। सबसे अच्छा टोकन साइज़ सवालों पर निर्भर था: तथ्य वाले सेट में 256 से 512 टोकन आगे रहे, विश्लेषण वालों में 1,024 टोकन या पूरे पेज। दोनों छोर, 128 और 2,048, आम तौर पर कमज़ोर रहे।
दोनों एक बात पर सहमत हैं: कोई सार्वभौमिक सबसे अच्छा साइज़ नहीं है, और भारी ओवरलैप वाले बहुत बड़े चंक शायद ही कभी सही डिफ़ॉल्ट होते हैं।
ओवरलैप इंडेक्स को कितना फुलाता है?
हर चंक साइज़ − ओवरलैप टोकन आगे बढ़ता है, इसलिए इंडेक्स में कॉर्पस की साइज़ ÷ (साइज़ − ओवरलैप) प्रतियाँ होती हैं। 10,000-टोकन डॉक्यूमेंट वाले 2,000,000-टोकन कॉर्पस के लिए:
| साइज़ | ओवरलैप | चंक | एम्बेड हुए टोकन | फुलाव |
|---|---|---|---|---|
| 200 | 0 | 10,000 | 2,000,000 | 1.00× |
| 400 | 0 | 5,000 | 2,000,000 | 1.00× |
| 512 | 77 (15%) | 4,600 | 2,338,800 | 1.17× |
| 1,024 | 154 (15%) | 2,400 | 2,338,800 | 1.17× |
| 800 | 400 (50%) | 4,800 | 3,840,000 | 1.92× |
| 400 | 200 (50%) | 9,800 | 3,920,000 | 1.96× |
छोटे डॉक्यूमेंट थोड़ा कम फूलते हैं, क्योंकि हर एक का आख़िरी चंक अधूरा होता है। फ़ॉर्मूला ऊपरी सीमा देता है: एम्बेडिंग टोकन, वेक्टर स्टोरेज और री-इंडेक्सिंग समय में 15% ओवरलैप लगभग 18% ज़्यादा पड़ता है, और 50% लगभग 100% ज़्यादा।
ओवरलैप क्वेरी के समय भी महँगा पड़ता है। 50% ओवरलैप के साथ, एक ही सवाल के लिए रिट्रीव हुए दो पड़ोसी चंक अपना आधा टेक्स्ट दोहराते हैं। आप उन दोहराए टोकन का भुगतान करते हैं, और वे दूसरे प्रासंगिक अंशों को top-k से बाहर धकेल देते हैं।
BroadNet एम्बेडिंग नहीं बेचता, इसलिए बिल का यह हिस्सा आपके एम्बेडिंग प्रोवाइडर के पास जाता है। इसकी कीमत एम्बेडिंग कॉस्ट कैलकुलेटर से निकालें।
चंक साइज़ LLM बिल पर क्या असर डालता है?
हर सवाल top-k चंक और प्रॉम्प्ट भेजता है। मान लें महीने में 100,000 सवाल, सिस्टम प्रॉम्प्ट और सवाल के 600 टोकन, और हर बार वही 300 टोकन का जवाब:
| साइज़ × top-k | प्रति क्वेरी कॉन्टेक्स्ट | प्रति क्वेरी इनपुट | प्रति माह इनपुट |
|---|---|---|---|
| 200 × 10 | 2,000 | 2,600 | 260 मिलियन |
| 400 × 5 | 2,000 | 2,600 | 260 मिलियन |
| 512 × 5 | 2,560 | 3,160 | 316 मिलियन |
| 800 × 5 | 4,000 | 4,600 | 460 मिलियन |
| 1,024 × 5 | 5,120 | 5,720 | 572 मिलियन |
| 1,024 × 8 | 8,192 | 8,792 | 879 मिलियन |
हर पंक्ति में आउटपुट महीने में 30 मिलियन टोकन है, इसलिए सिर्फ़ इनपुट बदलता है। प्रति 1M टोकन कीमत पर मासिक इनपुट लागत आख़िरी कॉलम के मिलियन गुणा वह कीमत है। Gemma 4 VL 26B पर, $0.10 प्रति 1M इनपुट टोकन के हिसाब से, 1,024 × 8 वाला सेटअप महीने में इनपुट पर 879 × $0.10 पड़ता है, जबकि 400 × 5 पर 260 × $0.10। यह 3.4 गुना है, उस सेटिंग के लिए जिसका रिकॉल प्रकाशित टेस्ट में बेहतर नहीं दिखता। Qwen3.8 27B ($0.175 इनपुट) या GLM 5.3 ($0.78 इनपुट) पर अनुपात वही है और कुल रक़म बड़ी।
दो लीवर इसे मॉडल की कीमत से ज़्यादा हिलाते हैं:
- साइज़ बढ़ाएँ तो k घटाएँ। 200 × 10 और 400 × 5 उतना ही कॉन्टेक्स्ट भेजते हैं। साइज़ टेस्ट करते समय प्रति क्वेरी कॉन्टेक्स्ट लगभग स्थिर रखें, ताकि आप रिट्रीवल क्वालिटी की तुलना करें, कॉन्टेक्स्ट बजट की नहीं।
- तय हिस्से को कैश करें। सिस्टम प्रॉम्प्ट सबसे पहले रखें और उसे बाइट-दर-बाइट एक जैसा रखें, ताकि जिन मॉडल पर कैश्ड इनपुट दर है, वहाँ वह उस दर पर बिल हो। रिट्रीव किए गए चंक हर सवाल पर बदलते हैं और शायद ही कैश होते हैं।
कॉन्टेक्स्ट की सीमाएँ भी मायने रखती हैं। Gemma 4 VL 26B प्रति अनुरोध 32,768 टोकन स्वीकार करता है, जो ऊपर की किसी भी पंक्ति के लिए काफ़ी है। अगर आप k × साइज़ को दसियों हज़ार टोकन की ओर धकेलते हैं, तो आप RAG से लॉन्ग कॉन्टेक्स्ट की ओर बढ़ चुके हैं, और उस तुलना का अपना हिसाब है। RAG चंकिंग कैलकुलेटर ये फ़ॉर्मूले आपके अपने कॉर्पस, चंक साइज़, ओवरलैप और top-k पर चलाता है।
शब्द काटे बिना टोकन के हिसाब से चंक कैसे करें?
गिनती टोकन में करें, लेकिन कटाई ढाँचे पर। LangChain का RecursiveCharacterTextSplitter साइज़ अपने length_function से मापता है, जो डिफ़ॉल्ट रूप से कैरेक्टर की लंबाई है। तब 512 का “साइज़” 512 कैरेक्टर है, यानी अंग्रेज़ी के मोटे तौर पर 100 से 150 टोकन, और अरबी के लिए फिर एक अलग संख्या; देखें अरबी में प्रति शब्द टोकन। एम्बेडिंग की सीमाएँ और LLM बिल टोकन में होते हैं।
यह चंकर पूरे पैराग्राफ़ को टोकन बजट तक भरता है और आख़िरी पैराग्राफ़ को ओवरलैप के रूप में आगे ले जाता है। पैराग्राफ़ की सीमा पर काटने से शब्द या मल्टी-बाइट अरबी कैरेक्टर नहीं टूटते, जो कच्ची टोकन विंडो कर सकती है।
import tiktoken
enc = tiktoken.get_encoding("o200k_base") # an estimate: count with your embedder's tokenizer
count = lambda s: len(enc.encode(s))
def chunk(text, size=512, overlap=64):
"""Pack whole paragraphs up to `size` tokens; repeat trailing paragraphs up to `overlap` tokens."""
chunks, cur, cur_len = [], [], 0
for para in (p.strip() for p in text.split("\n\n")):
if not para:
continue
n = count(para)
if cur and cur_len + n > size:
chunks.append("\n\n".join(cur))
tail, t = [], 0
for q in reversed(cur): # carry the end of this chunk forward
if t + count(q) > overlap:
break
tail.insert(0, q); t += count(q)
cur, cur_len = tail, t
cur.append(para); cur_len += n # a paragraph over `size` stays whole
if cur:
chunks.append("\n\n".join(cur))
return chunks
def plan(corpus_tokens, size, overlap, k, queries_per_month, prompt_tokens=600):
index_tokens = corpus_tokens * size / (size - overlap) # long-document limit
per_query = k * size + prompt_tokens
return {"chunks": round(index_tokens / size), "tokens_to_embed": round(index_tokens),
"input_per_query": per_query, "input_per_month": per_query * queries_per_month}
print(plan(2_000_000, 512, 64, 5, 100_000))
# {'chunks': 4464, 'tokens_to_embed': 2285714, 'input_per_query': 3160, 'input_per_month': 316000000}
यहाँ ओवरलैप “ज़्यादा से ज़्यादा” है: ओवरलैप बजट से लंबा पैराग्राफ़ दोहराया नहीं जाता। size से लंबा एक अकेला पैराग्राफ़ पूरा रहता है; अगर आपके डॉक्यूमेंट में ऐसे पैराग्राफ़ हैं, तो पहले उन्हें वाक्यों पर तोड़ें। हर चंक के आगे उसके डॉक्यूमेंट का शीर्षक और सेक्शन हेडिंग जोड़ें, ताकि रिट्रीव हुआ चंक फिर भी बताए कि वह किस बारे में है। इससे हर चंक में कुछ टोकन जुड़ते हैं और अक्सर ओवरलैप से ज़्यादा मदद मिलती है।
अपने डेटा के लिए संख्याएँ कैसे चुनें?
- एक मूल्यांकन सेट बनाएँ। 50 से 200 असली सवाल, हर एक के साथ वह अंश जो उसका जवाब देता है। स्कोरिंग LLM मूल्यांकन गाइड में है।
- कॉन्टेक्स्ट बजट तय रखें। साइज़ की तुलना करते समय k × साइज़ को एक मान के आसपास रखें, जैसे 2,000 टोकन।
- तीन साइज़ और दो ओवरलैप आज़माएँ। जैसे 256, 512 और 1,024 टोकन, हर एक 0 और 15% ओवरलैप पर। k पर सही अंश का रिकॉल मापें।
- ढाँचा आज़माएँ। अगर आपके डॉक्यूमेंट में पेज या नंबर वाले सेक्शन हैं, तो टोकन साइज़ के मुक़ाबले पेज-स्तर या सेक्शन-स्तर के चंक टेस्ट करें। NVIDIA ने पेज-स्तर को सबसे स्थिर पाया।
- सबसे अच्छे रिकॉल से एक-दो अंक के भीतर की सबसे सस्ती सेटिंग चुनें, फिर मासिक लागत के तरीक़े से अपने क्वेरी वॉल्यूम पर उसकी कीमत निकालें।
यह पूरा कॉर्पस एम्बेड करने से पहले एक सैंपल पर करें। बाद में चंकिंग बदलने का मतलब है सब कुछ दोबारा एम्बेड करना।
BroadNet Inference कहाँ फ़िट होता है
BroadNet Inference RAG का जवाब वाला चरण सर्व करता है, रिट्रीवल नहीं। यह न एम्बेडिंग बेचता है न वेक्टर स्टोरेज, इसलिए इसे अपनी पसंद के एम्बेडिंग प्रोवाइडर और वेक्टर डेटाबेस के साथ जोड़ें। जवाब के लिए Gemma 4 VL 26B कम लागत वाला विकल्प है और $5 के शुरुआती क्रेडिट पर चलता है। Qwen3.8 27B (262,144-टोकन कॉन्टेक्स्ट) और GLM 5.3 (1,048,576) बड़े top-k या लंबे डॉक्यूमेंट के लिए ठीक हैं, टॉप-अप के बाद। अनुरोध के बाद प्रॉम्प्ट और रिट्रीव किए गए अंश रखे नहीं जाते। अगर आपका कॉर्पस इतना छोटा और स्थिर है कि कॉन्टेक्स्ट विंडो में समा जाए, तो लॉन्ग कॉन्टेक्स्ट चंकिंग से पूरी तरह बेहतर हो सकता है।
