BroadRouter

RAG چنک سائز اور اوورلیپ: بازیافت اور لاگت پر ان کا اثر

BroadNet Inference ٹیم · 7 منٹ کی پڑھائی · شائع شدہ · اپ ڈیٹ

تقریباً 256 سے 512 ٹوکن کے چنکس، 0 سے 15% اوورلیپ، اور اپنی کوئریز پر ٹیون کیے top-k سے شروع کریں۔ بڑے چنکس ہر کوئری میں LLM کو جانے والے ٹوکن بڑھاتے ہیں۔ اوورلیپ ایمبیڈ اور اسٹور ہونے والے ٹوکن کو سائز ÷ (سائز − اوورلیپ) سے ضرب دیتا ہے، اس لیے 50% اوورلیپ انڈیکس دگنا کرتا ہے۔ شائع شدہ ٹیسٹس میں چھوٹے یا بغیر اوورلیپ والے چنکس اکثر برابر یا بہتر ریکال دیتے ملے۔

چنک سائز اور اوورلیپ وہ دو اعداد ہیں جو ہر RAG پائپ لائن شروع میں طے کرتی ہے اور شاذ و نادر ہی دوبارہ دیکھتی ہے۔ یہی طے کرتے ہیں کہ آپ کتنے ویکٹرز اسٹور کرتے ہیں، کتنے ٹوکن ایمبیڈ کرتے ہیں، ہر سوال LLM کو کتنے ٹوکن بھیجتا ہے، اور درست حصہ ملتا بھی ہے یا نہیں۔ یہ پوسٹ دکھاتی ہے کہ شائع شدہ ٹیسٹس میں کیا ملا، پھر ٹوکن کا حساب لگاتی ہے تاکہ کچھ بھی ایمبیڈ کرنے سے پہلے آپ ہر سیٹنگ کی لاگت دیکھ سکیں۔

اگر آپ ابھی طے کر رہے ہیں کہ RAG استعمال کرنا بھی ہے یا نہیں، تو لانگ کانٹیکسٹ بمقابلہ RAG سے شروع کریں۔ عربی دستاویزات کے لیے اس پوسٹ کے ساتھ عربی RAG اور عربی متن کی نارملائزیشن بھی پڑھیں۔

چنک سائز اور اوورلیپ کیا بدلتے ہیں؟

  • چنک سائز یہ ہے کہ ہر وہ ٹکڑا جو آپ ایمبیڈ اور بازیافت کرتے ہیں، اس میں کتنے ٹوکن جاتے ہیں۔
  • اوورلیپ یہ ہے کہ لگاتار چنکس آپس میں کتنے ٹوکن بانٹتے ہیں، تاکہ حد پر کٹا جملہ کم از کم ایک چنک میں پورا نظر آئے۔
  • Top-k یہ ہے کہ آپ ہر سوال پر کتنے چنکس بازیافت کرتے ہیں۔

یہ مل کر چار چیزیں طے کرتے ہیں:

مقدار فارمولا (لمبی دستاویزات)
اسٹور شدہ چنکس کارپس ٹوکن ÷ (سائز − اوورلیپ)
ایمبیڈ شدہ ٹوکن کارپس ٹوکن × سائز ÷ (سائز − اوورلیپ)
فی کوئری کانٹیکسٹ top-k × سائز
فی کوئری LLM ان پٹ top-k × سائز + سسٹم پرامپٹ + سوال

پہلی دو کی ادائیگی ہر انڈیکسنگ رن میں ایک بار ہوتی ہے، اور ہر بار دوبارہ چنک کرنے پر پھر سے۔ آخری کی ادائیگی ہر سوال پر ہوتی ہے، ہمیشہ۔

شائع شدہ ٹیسٹس چنک سائز کے بارے میں کیا کہتے ہیں؟

دو عوامی جانچیں جاننے کے لائق ہیں، کیونکہ انہوں نے مختلف چیزیں ناپیں۔

Chroma (Smith اور Troynikov، جولائی 2024) نے بازیافت کو ٹوکن کی سطح پر ناپا: متعلقہ متن کا کتنا حصہ بازیافت ہوا (ریکال)، اور جو بازیافت ہوا اس کا کتنا حصہ متعلقہ تھا۔ اس میں پانچ بازیافت شدہ چنکس اور OpenAI کا text-embedding-3-large استعمال ہوا۔ منتخب قطاریں:

اسپلٹر سائز (ٹوکن) اوورلیپ ریکال IoU
Recursive 800 400 85.4% 1.5%
Token 800 400 87.9% 1.4%
Recursive 400 200 88.1% 3.3%
Recursive 400 0 89.5% 3.6%
Recursive 200 0 88.1% 6.9%

IoU (intersection over union) ناپتا ہے کہ بازیافت شدہ متن کا کتنا حصہ متعلقہ تھا، اس لیے یہ ضائع شدہ ٹوکن کا پیمانہ بھی ہے۔ 800/400 والی قطاریں file search کے لیے OpenAI کے ڈیفالٹ سے ملتی ہیں؛ token اسپلٹر فرض کرتے ہوئے، Chroma نے پایا کہ اس سیٹنگ کا ریکال اوسط سے تھوڑا کم تھا اور باقی پیمانوں پر اسکور سب سے کم۔ بغیر اوورلیپ والے چھوٹے چنکس نے اتنا یا زیادہ ریکال دیا اور ان میں غیر متعلقہ متن بہت کم تھا۔

NVIDIA (جون 2025) نے پانچ ڈیٹاسیٹس پر شروع سے آخر تک جواب کی درستی ناپی، 15% اوورلیپ کے ساتھ 128 سے 2,048 کے ٹوکن چنکس پر، اور ساتھ میں صفحے اور سیکشن کی سطح کی چنکنگ پر۔ صفحے کی سطح کی چنکنگ کی اوسط درستی سب سے زیادہ (0.648) اور اتار چڑھاؤ سب سے کم رہا۔ بہترین ٹوکن سائز سوالوں پر منحصر تھا: حقائق والے سیٹس میں 256 سے 512 ٹوکن آگے رہے، تجزیاتی سیٹس میں 1,024 ٹوکن یا پورے صفحات۔ دونوں انتہائیں، 128 اور 2,048، عموماً کمزور رہیں۔

دونوں ایک بات پر متفق ہیں: کوئی عالمگیر بہترین سائز نہیں، اور بھاری اوورلیپ والے بہت بڑے چنکس شاذ و نادر ہی درست ڈیفالٹ ہوتے ہیں۔

اوورلیپ انڈیکس کو کتنا پھلاتا ہے؟

ہر چنک سائز − اوورلیپ ٹوکن آگے بڑھتا ہے، اس لیے انڈیکس میں کارپس کی سائز ÷ (سائز − اوورلیپ) نقلیں ہوتی ہیں۔ 10,000 ٹوکن کی دستاویزات والے 2,000,000 ٹوکن کارپس کے لیے:

سائز اوورلیپ چنکس ایمبیڈ شدہ ٹوکن پھیلاؤ
200 0 10,000 2,000,000 1.00×
400 0 5,000 2,000,000 1.00×
512 77 (15%) 4,600 2,338,800 1.17×
1,024 154 (15%) 2,400 2,338,800 1.17×
800 400 (50%) 4,800 3,840,000 1.92×
400 200 (50%) 9,800 3,920,000 1.96×

مختصر دستاویزات تھوڑا کم پھیلتی ہیں، کیونکہ ہر ایک کا آخری چنک ادھورا ہوتا ہے۔ فارمولا بالائی حد دیتا ہے: ایمبیڈنگ ٹوکن، ویکٹر اسٹوریج اور دوبارہ انڈیکسنگ کے وقت میں 15% اوورلیپ تقریباً 18% زیادہ پڑتا ہے، اور 50% تقریباً 100% زیادہ۔

اوورلیپ کوئری کے وقت بھی مہنگا پڑتا ہے۔ 50% اوورلیپ کے ساتھ، ایک ہی سوال کے لیے بازیافت ہونے والے دو پڑوسی چنکس اپنا آدھا متن دہراتے ہیں۔ آپ ان دہرائے ٹوکن کی ادائیگی کرتے ہیں، اور وہ دوسرے متعلقہ حصوں کو top-k سے باہر دھکیل دیتے ہیں۔

BroadNet ایمبیڈنگز نہیں بیچتا، اس لیے بل کا یہ حصہ آپ کے ایمبیڈنگ فراہم کنندہ کے پاس جاتا ہے۔ اس کی قیمت ایمبیڈنگ لاگت کیلکولیٹر سے نکالیں۔

چنک سائز LLM بل پر کیا اثر ڈالتا ہے؟

ہر سوال top-k چنکس اور پرامپٹ بھیجتا ہے۔ فرض کریں ماہانہ 100,000 سوال، سسٹم پرامپٹ اور سوال کے 600 ٹوکن، اور ہر بار وہی 300 ٹوکن کا جواب:

سائز × top-k فی کوئری کانٹیکسٹ فی کوئری ان پٹ ماہانہ ان پٹ
200 × 10 2,000 2,600 260 ملین
400 × 5 2,000 2,600 260 ملین
512 × 5 2,560 3,160 316 ملین
800 × 5 4,000 4,600 460 ملین
1,024 × 5 5,120 5,720 572 ملین
1,024 × 8 8,192 8,792 879 ملین

ہر قطار میں آؤٹ پٹ ماہانہ 30 ملین ٹوکن ہے، اس لیے صرف ان پٹ بدلتا ہے۔ فی 1M ٹوکن قیمت پر ماہانہ ان پٹ لاگت آخری کالم کے ملین ضرب وہ قیمت ہے۔ Gemma 4 VL 26B پر، $0.10 فی 1M ان پٹ ٹوکن کے حساب سے، 1,024 × 8 والا سیٹ اپ ماہانہ ان پٹ پر 879 × $0.10 پڑتا ہے، جبکہ 400 × 5 پر 260 × $0.10۔ یہ 3.4 گنا ہے، ایسی سیٹنگ کے لیے جس کا ریکال شائع شدہ ٹیسٹس میں بہتر نظر نہیں آتا۔ Qwen3.8 27B ($0.175 ان پٹ) یا GLM 5.3 ($0.78 ان پٹ) پر تناسب وہی ہے اور کل رقم بڑی۔

دو لیور اسے ماڈل کی قیمت سے زیادہ ہلاتے ہیں:

  1. سائز بڑھائیں تو k گھٹائیں۔ 200 × 10 اور 400 × 5 اتنا ہی کانٹیکسٹ بھیجتے ہیں۔ سائز ٹیسٹ کرتے وقت فی کوئری کانٹیکسٹ تقریباً مقرر رکھیں، تاکہ آپ بازیافت کے معیار کا موازنہ کریں، کانٹیکسٹ بجٹ کا نہیں۔
  2. مقررہ حصہ کیش کریں۔ سسٹم پرامپٹ سب سے پہلے رکھیں اور اسے بائٹ بہ بائٹ ایک جیسا رکھیں، تاکہ جن ماڈلز پر کیش شدہ ان پٹ ریٹ ہے وہاں وہ اس ریٹ پر بل ہو۔ بازیافت شدہ چنکس ہر سوال پر بدلتے ہیں اور شاذ و نادر ہی کیش ہوتے ہیں۔

کانٹیکسٹ کی حدیں بھی اہم ہیں۔ Gemma 4 VL 26B فی درخواست 32,768 ٹوکن قبول کرتا ہے، جو اوپر کی کسی بھی قطار کے لیے کافی ہے۔ اگر آپ k × سائز کو دسیوں ہزار ٹوکن کی طرف دھکیلتے ہیں تو آپ RAG سے لانگ کانٹیکسٹ کی طرف بڑھ چکے ہیں، اور اس موازنے کا اپنا حساب ہے۔ RAG چنکنگ کیلکولیٹر یہ فارمولے آپ کے اپنے کارپس، چنک سائز، اوورلیپ اور top-k پر چلاتا ہے۔

الفاظ کاٹے بغیر ٹوکن کے حساب سے چنک کیسے کریں؟

گنتی ٹوکن میں کریں، لیکن کٹائی ساخت پر۔ LangChain کا RecursiveCharacterTextSplitter سائز اپنے length_function سے ناپتا ہے، جو بطور ڈیفالٹ حروف کی لمبائی ہے۔ تب 512 کا ”سائز“ 512 حروف ہے، یعنی انگریزی کے موٹے طور پر 100 سے 150 ٹوکن، اور عربی کے لیے پھر ایک الگ عدد؛ دیکھیں عربی میں فی لفظ ٹوکن۔ ایمبیڈنگ کی حدیں اور LLM بل ٹوکن میں ہوتے ہیں۔

یہ چنکر پورے پیراگراف ٹوکن بجٹ تک بھرتا ہے اور آخری پیراگراف اوورلیپ کے طور پر آگے لے جاتا ہے۔ پیراگراف کی حد پر کاٹنے سے الفاظ یا ملٹی بائٹ عربی حروف نہیں ٹوٹتے، جو خام ٹوکن ونڈوز کر سکتی ہیں۔

import tiktoken

enc = tiktoken.get_encoding("o200k_base")    # an estimate: count with your embedder's tokenizer
count = lambda s: len(enc.encode(s))

def chunk(text, size=512, overlap=64):
    """Pack whole paragraphs up to `size` tokens; repeat trailing paragraphs up to `overlap` tokens."""
    chunks, cur, cur_len = [], [], 0
    for para in (p.strip() for p in text.split("\n\n")):
        if not para:
            continue
        n = count(para)
        if cur and cur_len + n > size:
            chunks.append("\n\n".join(cur))
            tail, t = [], 0
            for q in reversed(cur):                  # carry the end of this chunk forward
                if t + count(q) > overlap:
                    break
                tail.insert(0, q); t += count(q)
            cur, cur_len = tail, t
        cur.append(para); cur_len += n              # a paragraph over `size` stays whole
    if cur:
        chunks.append("\n\n".join(cur))
    return chunks

def plan(corpus_tokens, size, overlap, k, queries_per_month, prompt_tokens=600):
    index_tokens = corpus_tokens * size / (size - overlap)   # long-document limit
    per_query = k * size + prompt_tokens
    return {"chunks": round(index_tokens / size), "tokens_to_embed": round(index_tokens),
            "input_per_query": per_query, "input_per_month": per_query * queries_per_month}

print(plan(2_000_000, 512, 64, 5, 100_000))
# {'chunks': 4464, 'tokens_to_embed': 2285714, 'input_per_query': 3160, 'input_per_month': 316000000}

یہاں اوورلیپ ”زیادہ سے زیادہ“ ہے: اوورلیپ بجٹ سے لمبا پیراگراف دہرایا نہیں جاتا۔ size سے لمبا اکیلا پیراگراف پورا رہتا ہے؛ اگر آپ کی دستاویزات میں ایسے پیراگراف ہیں تو پہلے انہیں جملوں پر توڑیں۔ ہر چنک کے آگے اس کی دستاویز کا عنوان اور سیکشن کی سرخی لگائیں، تاکہ بازیافت شدہ چنک پھر بھی بتائے کہ وہ کس بارے میں ہے۔ اس سے ہر چنک میں چند ٹوکن جڑتے ہیں اور اکثر اوورلیپ سے زیادہ مدد ملتی ہے۔

اپنے ڈیٹا کے لیے اعداد کیسے چنیں؟

  1. جانچ کا ایک سیٹ بنائیں۔ 50 سے 200 اصل سوال، ہر ایک کے ساتھ وہ حصہ جو اس کا جواب دیتا ہے۔ اسکورنگ LLM جانچ گائیڈ میں ہے۔
  2. کانٹیکسٹ بجٹ مقرر رکھیں۔ سائز کا موازنہ کرتے وقت k × سائز کو ایک قدر کے آس پاس رکھیں، جیسے 2,000 ٹوکن۔
  3. تین سائز اور دو اوورلیپ آزمائیں۔ مثلاً 256، 512 اور 1,024 ٹوکن، ہر ایک 0 اور 15% اوورلیپ پر۔ k پر درست حصے کا ریکال ناپیں۔
  4. ساخت آزمائیں۔ اگر آپ کی دستاویزات میں صفحات یا نمبر والے سیکشن ہیں تو ٹوکن سائز کے مقابلے میں صفحے یا سیکشن کی سطح کے چنکس ٹیسٹ کریں۔ NVIDIA نے صفحے کی سطح کو سب سے مستحکم پایا۔
  5. بہترین ریکال سے ایک دو پوائنٹ کے اندر کی سب سے سستی سیٹنگ چنیں، پھر ماہانہ لاگت کے طریقے سے اپنے کوئری حجم پر اس کی قیمت نکالیں۔

یہ پورا کارپس ایمبیڈ کرنے سے پہلے ایک نمونے پر کریں۔ بعد میں چنکنگ بدلنے کا مطلب ہے سب کچھ دوبارہ ایمبیڈ کرنا۔

BroadNet Inference کہاں فٹ ہوتا ہے

BroadNet Inference RAG کا جواب والا مرحلہ چلاتا ہے، بازیافت نہیں۔ یہ نہ ایمبیڈنگز بیچتا ہے نہ ویکٹر اسٹوریج، اس لیے اسے اپنی پسند کے ایمبیڈنگز فراہم کنندہ اور ویکٹر ڈیٹا بیس کے ساتھ جوڑیں۔ جواب کے لیے Gemma 4 VL 26B کم لاگت والا آپشن ہے اور $5 کے ابتدائی کریڈٹ پر چلتا ہے۔ Qwen3.8 27B (262,144 ٹوکن کانٹیکسٹ) اور GLM 5.3 (1,048,576) بڑے top-k یا لمبی دستاویزات کے لیے موزوں ہیں، ٹاپ اپ کے بعد۔ درخواست کے بعد پرامپٹس اور بازیافت شدہ حصے محفوظ نہیں رکھے جاتے۔ اگر آپ کا کارپس اتنا چھوٹا اور مستحکم ہے کہ کانٹیکسٹ ونڈو میں سما جائے، تو لانگ کانٹیکسٹ چنکنگ سے مکمل طور پر بہتر ہو سکتا ہے۔

عام سوالات

RAG کے لیے اچھا چنک سائز کیا ہے؟

تقریباً 256 سے 512 ٹوکن سے شروع کریں اور ٹیسٹ کریں۔ Chroma کی جانچ میں بغیر اوورلیپ والے 200 سے 400 ٹوکن نے اچھی کارکردگی دکھائی۔ NVIDIA نے پایا کہ حقائق والے سوالوں کے لیے 256 سے 512 ٹوکن موزوں رہے، جبکہ تجزیاتی سوال 1,024 ٹوکن یا صفحے کی سطح کے چنکس کے ساتھ بہتر رہے۔

چنک اوورلیپ کتنا رکھنا چاہیے؟

زیادہ تر ڈیفالٹس سے کم۔ NVIDIA نے ایک ڈیٹاسیٹ پر 10%، 15% اور 20% آزمائے، جن میں 15% بہترین رہا۔ Chroma نے پایا کہ بغیر اوورلیپ والی سیٹنگز اکثر برابر یا بہتر اسکور کرتی تھیں۔ اوورلیپ کا ہر پوائنٹ ایمبیڈ، اسٹور اور بھیجنے کے لیے ٹوکن جوڑتا ہے۔

کیا بڑا چنک سائز زیادہ مہنگا پڑتا ہے؟

اوورلیپ نہ ہو تو ایمبیڈ کرنے میں نہیں: کارپس اتنے ہی ٹوکن کا رہتا ہے۔ فی کوئری زیادہ پڑتا ہے، کیونکہ ہر بازیافت شدہ چنک لمبا ہوتا ہے، تو top-k × چنک سائز بڑھتا ہے۔ سائز بڑھائیں تو k گھٹائیں۔

چنک سائز ٹوکن میں ناپا جاتا ہے یا حروف میں؟

یہ اسپلٹر پر منحصر ہے۔ LangChain کا RecursiveCharacterTextSplitter اپنے length_function سے ناپتا ہے، جو بطور ڈیفالٹ حروف کی لمبائی ہے۔ ایمبیڈنگ کی حدیں اور LLM بل ٹوکن میں ہوتے ہیں، اس لیے ٹوکن کاؤنٹر پاس کریں۔

چنک سائز بدلنے پر کیا دوبارہ ایمبیڈ کرنا پڑتا ہے؟

جی ہاں۔ نئی حدیں نئے چنکس بناتی ہیں، اور ہر ایک کو نیا ویکٹر چاہیے۔ دوبارہ ایمبیڈ کرنے میں پورے انڈیکس کی لاگت پھر لگتی ہے، اس لیے پورا کارپس ایمبیڈ کرنے سے پہلے ایک نمونے پر چنکنگ طے کر لیں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں