BroadRouter
ابدأ الآن

ترميز أزواج البايتات (BPE)

آخر تحديث

ترميز أزواج البايتات (BPE) خوارزمية تجزئة إلى وحدات دون الكلمة، تبدأ من الحروف أو البايتات المفردة، ثم تدمج مرارًا أكثر زوج متجاور تكرارًا في مدخل جديد في المفردات، حتى تبلغ حجم المفردات المستهدف. ومعظم مجزّئات نماذج اللغة الحالية تستخدم BPE أو صيغته على مستوى البايت.

يُسمّى أيضًا: ترميز أزواج البايتات، ترميز زوج البايت، تجزئة BPE، BPE على مستوى البايت، BPE، byte pair encoding، byte-pair encoding، byte-level BPE، BPE tokenization

ترميز أزواج البايتات هو الوصفة التي تقوم عليها معظم مجزّئات (tokenizers) نماذج اللغة: تعلّم أي قطع النص تتكرر معًا كثيرًا، وأعطِ كل قطعة متكررة رمزًا خاصًا بها.

كيف يعمل

طبّق Sennrich وHaddow وBirch (2015) خوارزمية BPE، وهي في الأصل طريقة ضغط، على الترجمة. وفكرتهم أن الأسماء والكلمات المركّبة والكلمات النادرة يمكن بناؤها من وحدات أصغر، فلا يحتاج النموذج إلى مدخل في القاموس لكل كلمة.

ويتبع تدريب مفردات BPE حلقة بسيطة، تعرضها وثائق Hugging Face خطوة خطوة:

  1. عُدّ تكرار الكلمات في مدوّنة التدريب، مثلًا hug 10، وpug 5، وpun 12، وbun 4، وhugs 5.
  2. ابدأ بالحروف المفردة: b g h n p s u.
  3. ابحث عن أكثر زوج متجاور تكرارًا. الزوج u + g يظهر 20 مرة، فأضف ug.
  4. كرّر. الزوج u + n (16 مرة) يصبح un.
  5. توقّف عند حجم المفردات المستهدف، وهو يساوي الرموز الأساسية مضافًا إليها عدد عمليات الدمج.

ولترميز نص جديد، يطبّق المجزّئ عمليات الدمج المتعلَّمة بالترتيب نفسه. والترميز حتمي: النص نفسه يعطي الرموز نفسها دائمًا.

BPE على مستوى البايت يبدأ من قيم البايت الـ 256 بدل الحروف. وعندها يصبح ترميز أي سلسلة ممكنًا. وكانت مفردات GPT-2 تتألف من 256 بايتًا + 50,000 عملية دمج + رمز واحد لنهاية النص = 50,257.

لماذا يهم

يفسّر BPE عدة أشياء تراها في فاتورة الواجهة:

  • الكلمات الإنجليزية الشائعة رمز واحد، لأن أزواجها دُمجت مبكرًا.
  • الكلمات النادرة والأخطاء الإملائية ونظم الكتابة غير اللاتينية تنقسم إلى رموز أكثر. ففي UTF-8 يشغل الحرف العربي بايتين، لذا ينفق المجزّئ على مستوى البايت الذي تعلّم دمجًا عربيًا قليلًا رموزًا أكثر لكل كلمة.
  • الأعداد تختلف من نموذج لآخر. فكل نموذج يتعلّم عمليات دمج خاصة به من بياناته.

وقياسنا بتاريخ 2026-11-14 يبيّن الأثر. المحادثة نفسها باللهجة الخليجية، وطولها 117 كلمة، بلغت 276 رمزًا على GLM 5.3 و229 على Qwen3.8 27B. أي 276 / 117 x 100 = 235.9 مقابل 229 / 117 x 100 = 195.7 رمزًا لكل 100 كلمة. أما الترجمة الإنجليزية للمحادثة نفسها فكلّفت 202 و208 رموز، وهما متقاربان جدًا.

في BroadNet Inference

لا تختار المجزّئ على BroadNet؛ فكل نموذج يستخدم مجزّئه الخاص. قارن الأعداد لنصك الحقيقي في عدّاد الرموز العربية قبل أن تختار نموذجًا لحركة المرور العربية، واقرأ عدد الرموز لكل كلمة في العربية والإنجليزية للجدول الكامل. وتذكّر أن عدد الرموز، لا عدد الكلمات، هو ما يحدد السعر.

أسئلة شائعة

من ابتكر BPE لنماذج اللغة؟

بدأ BPE خوارزميةً لضغط البيانات. ثم كيّفه Sennrich وHaddow وBirch عام 2015 لتقسيم الكلمات النادرة إلى وحدات دون الكلمة في الترجمة الآلية العصبية، ومن ذلك العمل نشأت مجزّئات نماذج اللغة.

ما هو BPE على مستوى البايت؟

مجزّئ BPE مفرداته الأساسية هي قيم البايت الممكنة وعددها 256 بدل الحروف، فيمكن ترميز أي نص بأي نظام كتابة دون رمز «غير معروف». واستخدمه GPT-2 بـ 50,257 مدخلًا.

لماذا ينتج BPE رموزًا للعربية أكثر من الإنجليزية؟

تُتعلَّم عمليات الدمج من بيانات التدريب. فإذا رأى المجزّئ عربية أقل، دُمجت أزواج عربية أقل، فتنقسم الكلمات العربية إلى قطع أكثر.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity