لا يستطيع المسترجِع أن يُرجع نصف مستند. والتقطيع هو ما يحدد القطع.
كيف يعمل
تصوغ وثائق LangChain الغرض ببساطة: مقسّمات النصوص “break large docs into smaller chunks that will be retrievable individually and fit within model context window limit.” (ترجمة: تقسم المستندات الكبيرة إلى أجزاء أصغر يمكن استرجاع كل منها منفردًا وتتسع ضمن حد نافذة سياق النموذج). ثم يُحوَّل كل جزء إلى تضمينات ويُخزَّن في قاعدة بيانات المتجهات، أو يُفهرس للبحث بالكلمات المفتاحية.
رقمان يتحكمان في معظم أدوات التقطيع:
- حجم الجزء: أقصى طول للجزء، بالحروف أو بالرموز.
- تداخل الأجزاء: مقدار النص من نهاية جزء الذي يتكرر في بداية الجزء التالي.
وتختلف المقسّمات أيضًا في موضع القطع. وتوصي LangChain بالبدء بمقسّمها التكراري في معظم الحالات. فهو يحاول إبقاء الوحدات الأكبر كالفقرات كاملة، ويتراجع إلى الجمل ثم الكلمات حين تكون الوحدة كبيرة جدًا. أما SentenceSplitter في LlamaIndex فيعمل على حدود الجمل؛ وتعرضه وثائقه بإعدادات صريحة:
from llama_index.core.node_parser import SentenceSplitter
splitter = SentenceSplitter(chunk_size=1024, chunk_overlap=20)
nodes = splitter.get_nodes_from_documents(documents)
مثال رقمي: مدوّنة من 100,000 رمز مقسّمة إلى أجزاء من 500 رمز مع تداخل 50 رمزًا تعطي نحو 222 جزءًا (كل جزء جديد يضيف 450 رمزًا جديدًا)، ونحو 111,000 رمز للتضمين، أي 11% أكثر مما لو لم يكن هناك تداخل.
لماذا يهم
- الاستدعاء. الأجزاء الصغيرة جدًا تفقد السياق؛ والكبيرة جدًا تميّع التطابق بنص لا علاقة له.
- تكلفة نموذج اللغة. تُرسَل الأجزاء المسترجعة رموزَ إدخال. فخمسة أجزاء من 1,000 رمز تضيف 5,000 رمز إدخال إلى كل سؤال.
- تكلفة الفهرس. التداخل والأجزاء الصغيرة كلاهما يزيد عدد المتجهات التي تُضمَّن وتُخزَّن.
- اللغة. قد تحمل الكلمات العربية سوابق ولواحق وتشكيلًا يغيّر عدد الرموز والمطابقة. ويغطي البحث في RAG العربي التقطيع والتوحيد للعربية.
والتقطيع رافعة واحدة. فإضافة البحث الهجين أو إعادة الترتيب تفيد غالبًا أكثر من ضبط الحجم وحده.
في BroadNet Inference
لا توفّر BroadNet نقطة نهاية للتضمينات، فتقطّع وتضمّن بأدواتك أو عبر مزوّد آخر، ثم ترسل الأجزاء المسترجعة إلى نموذج محادثة على BroadNet. والنماذج ذات السياق الطويل تغيّر المفاضلة: فنموذجا DeepSeek V4.1 Flash وGLM 5.3 يقبلان 1,048,576 رمزًا، فقد تتسع مدوّنة صغيرة دون أي استرجاع. ويقارن مقال السياق الطويل مقابل RAG بين الخيارين.
وتقدّر حاسبة تقطيع RAG عدد الأجزاء وحجم الفهرس والرموز لكل استعلام بحسب إعداداتك، ويستعرض مقال حجم الأجزاء والتداخل في RAG الاختبارات المنشورة.