BroadRouter
شروع کریں

چنکنگ (chunking، RAG)

اپ ڈیٹ

Chunking retrieval پائپ لائن کا وہ مرحلہ ہے جو دستاویزات کو embed اور انڈیکس کرنے سے پہلے چھوٹے ٹکڑوں، یعنی chunks، میں بانٹتا ہے۔ Chunk size طے کرتا ہے کہ ہر ٹکڑے میں کتنا متن ہو، اور chunk overlap ساتھ والے chunks میں کچھ متن دہراتا ہے تاکہ حد پر کٹے خیالات ضائع نہ ہوں۔

دوسرے نام: چنکنگ، ٹیکسٹ چنکنگ، chunking kya hai، chunk size kya hai، chunk size، chunk overlap، text chunking، document chunking، chunking strategy

Retriever آدھی دستاویز نہیں لوٹا سکتا۔ ٹکڑے کیا ہوں گے، یہ chunking طے کرتی ہے۔

یہ کیسے کام کرتی ہے

LangChain کی دستاویزات مقصد سیدھا بتاتی ہیں: text splitters “break large docs into smaller chunks that will be retrievable individually and fit within model context window limit.” (ترجمہ: بڑی دستاویزات کو چھوٹے chunks میں توڑتے ہیں جو الگ الگ retrieve ہو سکیں اور ماڈل کی کانٹیکسٹ ونڈو کی حد میں سما سکیں۔) پھر ہر chunk کو embeddings میں بدل کر ویکٹر ڈیٹابیس میں رکھا جاتا ہے، یا کی ورڈ سرچ کے لیے انڈیکس کیا جاتا ہے۔

زیادہ تر chunkers کو دو عدد کنٹرول کرتے ہیں:

  • Chunk size: chunk کی زیادہ سے زیادہ لمبائی، کیریکٹرز یا ٹوکنز میں۔
  • Chunk overlap: ایک chunk کے آخر کا کتنا متن اگلے کے شروع میں دہرایا جائے۔

Splitters اس میں بھی مختلف ہیں کہ وہ کہاں کاٹتے ہیں۔ LangChain زیادہ تر صورتوں میں اپنے recursive splitter سے شروع کرنے کا مشورہ دیتا ہے۔ یہ پیراگراف جیسی بڑی اکائیوں کو مکمل رکھنے کی کوشش کرتا ہے، اور اکائی بہت بڑی ہو تو جملوں پر، پھر الفاظ پر آتا ہے۔ LlamaIndex کا SentenceSplitter جملوں کی حدود پر کام کرتا ہے؛ اس کی دستاویزات اسے واضح سیٹنگز کے ساتھ دکھاتی ہیں:

from llama_index.core.node_parser import SentenceSplitter

splitter = SentenceSplitter(chunk_size=1024, chunk_overlap=20)
nodes = splitter.get_nodes_from_documents(documents)

ایک حساب: 100,000 ٹوکن کا کارپس 500 ٹوکن کے chunks میں 50 ٹوکن overlap کے ساتھ بانٹنے پر تقریباً 222 chunks بنتے ہیں (ہر نیا chunk 450 نئے ٹوکن جوڑتا ہے) اور تقریباً 111,000 ٹوکن embed کرنے ہوتے ہیں، بغیر overlap سے 11% زیادہ۔

یہ کیوں اہم ہے

  • Recall۔ بہت چھوٹے chunks سیاق کھو دیتے ہیں؛ بہت بڑے chunks میچ کو غیر متعلقہ متن سے پتلا کر دیتے ہیں۔
  • LLM لاگت۔ نکالے گئے chunks ان پٹ ٹوکن کے طور پر بھیجے جاتے ہیں۔ 1,000 ٹوکن کے پانچ chunks ہر سوال میں 5,000 ان پٹ ٹوکن جوڑتے ہیں۔
  • انڈیکس لاگت۔ overlap اور چھوٹے chunks دونوں embed اور محفوظ کیے جانے والے ویکٹرز کی تعداد بڑھاتے ہیں۔
  • زبان۔ عربی الفاظ میں clitics اور اعراب ہو سکتے ہیں جو ٹوکن گنتی اور میچنگ بدلتے ہیں۔ عربی RAG سرچ عربی کے لیے chunking اور نارملائزیشن بیان کرتی ہے۔

Chunking ایک لیور ہے۔ Hybrid search یا reranker شامل کرنا اکثر صرف سائز ٹیون کرنے سے زیادہ مدد کرتا ہے۔

BroadNet Inference پر

BroadNet کوئی embeddings اینڈپوائنٹ نہیں دیتا، اس لیے chunking اور embedding اپنے ٹولز یا کسی دوسرے فراہم کنندہ سے کریں، اور نکالے گئے chunks BroadNet کے چیٹ ماڈل کو بھیجیں۔ لمبے کانٹیکسٹ والے ماڈل ٹریڈ آف بدل دیتے ہیں: DeepSeek V4.1 Flash اور GLM 5.3 1,048,576 ٹوکن لیتے ہیں، اس لیے چھوٹا کارپس retrieval کے بغیر بھی سما سکتا ہے۔ لمبا کانٹیکسٹ بمقابلہ RAG دونوں کا موازنہ کرتی ہے۔

RAG chunking کیلکولیٹر آپ کی سیٹنگز کے لیے chunks کی تعداد، انڈیکس کا سائز اور فی کوئری ٹوکنز کا اندازہ دیتا ہے، اور RAG chunk size اور overlap شائع شدہ ٹیسٹس سمجھاتی ہے۔

عام سوالات

شروعات کس chunk size سے کروں؟

کوئی ایک درست قدر نہیں۔ ایک ابتدائی سائز چنیں، معلوم جوابات والے اصل سوالات کا چھوٹا ٹیسٹ سیٹ بنائیں، اور دو تین سائزز پر retrieval hit rate کا موازنہ کریں۔ RAG chunk size والی پوسٹ شائع شدہ نتائج جمع کرتی ہے۔

کیا overlap سے انڈیکس بڑا ہوتا ہے؟

ہاں۔ overlap والا متن ایک سے زیادہ بار محفوظ اور embed ہوتا ہے، اس لیے انڈیکس کا سائز اور embedding کی لاگت overlap کے حصے کے ساتھ بڑھتی ہے۔

کیریکٹرز سے chunk کروں یا ٹوکنز سے؟

ٹوکن پر مبنی سائز وہی گنتے ہیں جو embedding ماڈل اور LLM اصل میں گنتے ہیں۔ کیریکٹر والے سائز سادہ ہیں، لیکن اتنے ہی کیریکٹرز مختلف زبانوں میں، عربی سمیت، بہت مختلف تعداد کے ٹوکن ہو سکتے ہیں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں