BroadRouter
ابدأ الآن

التقطيع إلى أجزاء (Chunking في RAG)

آخر تحديث

التقطيع (chunking) هو الخطوة في سلسلة الاسترجاع التي تقسم المستندات إلى قطع أصغر تسمّى الأجزاء (chunks) قبل تضمينها وفهرستها. ويحدد حجم الجزء مقدار النص في كل قطعة، ويكرر التداخل بعض النص بين الأجزاء المتجاورة كي لا تضيع الأفكار المقطوعة عند الحد الفاصل.

يُسمّى أيضًا: التقطيع، تقطيع النصوص، تقسيم المستندات، حجم الجزء، تداخل الأجزاء، استراتيجية التقطيع، chunking، chunk size، chunk overlap، text chunking، document chunking، chunking strategy

لا يستطيع المسترجِع أن يُرجع نصف مستند. والتقطيع هو ما يحدد القطع.

كيف يعمل

تصوغ وثائق LangChain الغرض ببساطة: مقسّمات النصوص “break large docs into smaller chunks that will be retrievable individually and fit within model context window limit.” (ترجمة: تقسم المستندات الكبيرة إلى أجزاء أصغر يمكن استرجاع كل منها منفردًا وتتسع ضمن حد نافذة سياق النموذج). ثم يُحوَّل كل جزء إلى تضمينات ويُخزَّن في قاعدة بيانات المتجهات، أو يُفهرس للبحث بالكلمات المفتاحية.

رقمان يتحكمان في معظم أدوات التقطيع:

  • حجم الجزء: أقصى طول للجزء، بالحروف أو بالرموز.
  • تداخل الأجزاء: مقدار النص من نهاية جزء الذي يتكرر في بداية الجزء التالي.

وتختلف المقسّمات أيضًا في موضع القطع. وتوصي LangChain بالبدء بمقسّمها التكراري في معظم الحالات. فهو يحاول إبقاء الوحدات الأكبر كالفقرات كاملة، ويتراجع إلى الجمل ثم الكلمات حين تكون الوحدة كبيرة جدًا. أما SentenceSplitter في LlamaIndex فيعمل على حدود الجمل؛ وتعرضه وثائقه بإعدادات صريحة:

from llama_index.core.node_parser import SentenceSplitter

splitter = SentenceSplitter(chunk_size=1024, chunk_overlap=20)
nodes = splitter.get_nodes_from_documents(documents)

مثال رقمي: مدوّنة من 100,000 رمز مقسّمة إلى أجزاء من 500 رمز مع تداخل 50 رمزًا تعطي نحو 222 جزءًا (كل جزء جديد يضيف 450 رمزًا جديدًا)، ونحو 111,000 رمز للتضمين، أي 11% أكثر مما لو لم يكن هناك تداخل.

لماذا يهم

  • الاستدعاء. الأجزاء الصغيرة جدًا تفقد السياق؛ والكبيرة جدًا تميّع التطابق بنص لا علاقة له.
  • تكلفة نموذج اللغة. تُرسَل الأجزاء المسترجعة رموزَ إدخال. فخمسة أجزاء من 1,000 رمز تضيف 5,000 رمز إدخال إلى كل سؤال.
  • تكلفة الفهرس. التداخل والأجزاء الصغيرة كلاهما يزيد عدد المتجهات التي تُضمَّن وتُخزَّن.
  • اللغة. قد تحمل الكلمات العربية سوابق ولواحق وتشكيلًا يغيّر عدد الرموز والمطابقة. ويغطي البحث في RAG العربي التقطيع والتوحيد للعربية.

والتقطيع رافعة واحدة. فإضافة البحث الهجين أو إعادة الترتيب تفيد غالبًا أكثر من ضبط الحجم وحده.

في BroadNet Inference

لا توفّر BroadNet نقطة نهاية للتضمينات، فتقطّع وتضمّن بأدواتك أو عبر مزوّد آخر، ثم ترسل الأجزاء المسترجعة إلى نموذج محادثة على BroadNet. والنماذج ذات السياق الطويل تغيّر المفاضلة: فنموذجا DeepSeek V4.1 Flash وGLM 5.3 يقبلان 1,048,576 رمزًا، فقد تتسع مدوّنة صغيرة دون أي استرجاع. ويقارن مقال السياق الطويل مقابل RAG بين الخيارين.

وتقدّر حاسبة تقطيع RAG عدد الأجزاء وحجم الفهرس والرموز لكل استعلام بحسب إعداداتك، ويستعرض مقال حجم الأجزاء والتداخل في RAG الاختبارات المنشورة.

أسئلة شائعة

بأي حجم جزء أبدأ؟

لا توجد قيمة صحيحة واحدة. اختر حجمًا للبداية، وابنِ مجموعة اختبار صغيرة من أسئلة حقيقية معروفة الإجابات، وقارن معدلات نجاح الاسترجاع عند حجمين أو ثلاثة. ويجمع مقال حجم الأجزاء في RAG النتائج المنشورة.

هل يجعل التداخل الفهرس أكبر؟

نعم. النص المتداخل يُخزَّن ويُضمَّن أكثر من مرة، فيزداد حجم الفهرس وتكلفة التضمين بقدر نسبة التداخل.

هل أقطّع بالحروف أم بالرموز؟

الأحجام بالرموز تطابق ما يعدّه نموذج التضمين ونموذج اللغة فعلًا. والأحجام بالحروف أبسط، لكن العدد نفسه من الحروف قد يساوي عددًا مختلفًا جدًا من الرموز في لغات مختلفة، ومنها العربية.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity