Retriever آدھی دستاویز نہیں لوٹا سکتا۔ ٹکڑے کیا ہوں گے، یہ chunking طے کرتی ہے۔
یہ کیسے کام کرتی ہے
LangChain کی دستاویزات مقصد سیدھا بتاتی ہیں: text splitters “break large docs into smaller chunks that will be retrievable individually and fit within model context window limit.” (ترجمہ: بڑی دستاویزات کو چھوٹے chunks میں توڑتے ہیں جو الگ الگ retrieve ہو سکیں اور ماڈل کی کانٹیکسٹ ونڈو کی حد میں سما سکیں۔) پھر ہر chunk کو embeddings میں بدل کر ویکٹر ڈیٹابیس میں رکھا جاتا ہے، یا کی ورڈ سرچ کے لیے انڈیکس کیا جاتا ہے۔
زیادہ تر chunkers کو دو عدد کنٹرول کرتے ہیں:
- Chunk size: chunk کی زیادہ سے زیادہ لمبائی، کیریکٹرز یا ٹوکنز میں۔
- Chunk overlap: ایک chunk کے آخر کا کتنا متن اگلے کے شروع میں دہرایا جائے۔
Splitters اس میں بھی مختلف ہیں کہ وہ کہاں کاٹتے ہیں۔ LangChain زیادہ تر صورتوں میں اپنے recursive splitter سے شروع کرنے کا مشورہ دیتا ہے۔ یہ پیراگراف جیسی بڑی اکائیوں کو مکمل رکھنے کی کوشش کرتا ہے، اور اکائی بہت بڑی ہو تو جملوں پر، پھر الفاظ پر آتا ہے۔ LlamaIndex کا SentenceSplitter جملوں کی حدود پر کام کرتا ہے؛ اس کی دستاویزات اسے واضح سیٹنگز کے ساتھ دکھاتی ہیں:
from llama_index.core.node_parser import SentenceSplitter
splitter = SentenceSplitter(chunk_size=1024, chunk_overlap=20)
nodes = splitter.get_nodes_from_documents(documents)
ایک حساب: 100,000 ٹوکن کا کارپس 500 ٹوکن کے chunks میں 50 ٹوکن overlap کے ساتھ بانٹنے پر تقریباً 222 chunks بنتے ہیں (ہر نیا chunk 450 نئے ٹوکن جوڑتا ہے) اور تقریباً 111,000 ٹوکن embed کرنے ہوتے ہیں، بغیر overlap سے 11% زیادہ۔
یہ کیوں اہم ہے
- Recall۔ بہت چھوٹے chunks سیاق کھو دیتے ہیں؛ بہت بڑے chunks میچ کو غیر متعلقہ متن سے پتلا کر دیتے ہیں۔
- LLM لاگت۔ نکالے گئے chunks ان پٹ ٹوکن کے طور پر بھیجے جاتے ہیں۔ 1,000 ٹوکن کے پانچ chunks ہر سوال میں 5,000 ان پٹ ٹوکن جوڑتے ہیں۔
- انڈیکس لاگت۔ overlap اور چھوٹے chunks دونوں embed اور محفوظ کیے جانے والے ویکٹرز کی تعداد بڑھاتے ہیں۔
- زبان۔ عربی الفاظ میں clitics اور اعراب ہو سکتے ہیں جو ٹوکن گنتی اور میچنگ بدلتے ہیں۔ عربی RAG سرچ عربی کے لیے chunking اور نارملائزیشن بیان کرتی ہے۔
Chunking ایک لیور ہے۔ Hybrid search یا reranker شامل کرنا اکثر صرف سائز ٹیون کرنے سے زیادہ مدد کرتا ہے۔
BroadNet Inference پر
BroadNet کوئی embeddings اینڈپوائنٹ نہیں دیتا، اس لیے chunking اور embedding اپنے ٹولز یا کسی دوسرے فراہم کنندہ سے کریں، اور نکالے گئے chunks BroadNet کے چیٹ ماڈل کو بھیجیں۔ لمبے کانٹیکسٹ والے ماڈل ٹریڈ آف بدل دیتے ہیں: DeepSeek V4.1 Flash اور GLM 5.3 1,048,576 ٹوکن لیتے ہیں، اس لیے چھوٹا کارپس retrieval کے بغیر بھی سما سکتا ہے۔ لمبا کانٹیکسٹ بمقابلہ RAG دونوں کا موازنہ کرتی ہے۔
RAG chunking کیلکولیٹر آپ کی سیٹنگز کے لیے chunks کی تعداد، انڈیکس کا سائز اور فی کوئری ٹوکنز کا اندازہ دیتا ہے، اور RAG chunk size اور overlap شائع شدہ ٹیسٹس سمجھاتی ہے۔