ترميز أزواج البايتات هو الوصفة التي تقوم عليها معظم مجزّئات (tokenizers) نماذج اللغة: تعلّم أي قطع النص تتكرر معًا كثيرًا، وأعطِ كل قطعة متكررة رمزًا خاصًا بها.
كيف يعمل
طبّق Sennrich وHaddow وBirch (2015) خوارزمية BPE، وهي في الأصل طريقة ضغط، على الترجمة. وفكرتهم أن الأسماء والكلمات المركّبة والكلمات النادرة يمكن بناؤها من وحدات أصغر، فلا يحتاج النموذج إلى مدخل في القاموس لكل كلمة.
ويتبع تدريب مفردات BPE حلقة بسيطة، تعرضها وثائق Hugging Face خطوة خطوة:
- عُدّ تكرار الكلمات في مدوّنة التدريب، مثلًا
hug10، وpug5، وpun12، وbun4، وhugs5. - ابدأ بالحروف المفردة:
b g h n p s u. - ابحث عن أكثر زوج متجاور تكرارًا. الزوج
u+gيظهر 20 مرة، فأضفug. - كرّر. الزوج
u+n(16 مرة) يصبحun. - توقّف عند حجم المفردات المستهدف، وهو يساوي الرموز الأساسية مضافًا إليها عدد عمليات الدمج.
ولترميز نص جديد، يطبّق المجزّئ عمليات الدمج المتعلَّمة بالترتيب نفسه. والترميز حتمي: النص نفسه يعطي الرموز نفسها دائمًا.
BPE على مستوى البايت يبدأ من قيم البايت الـ 256 بدل الحروف. وعندها يصبح ترميز أي سلسلة ممكنًا. وكانت مفردات GPT-2 تتألف من 256 بايتًا + 50,000 عملية دمج + رمز واحد لنهاية النص = 50,257.
لماذا يهم
يفسّر BPE عدة أشياء تراها في فاتورة الواجهة:
- الكلمات الإنجليزية الشائعة رمز واحد، لأن أزواجها دُمجت مبكرًا.
- الكلمات النادرة والأخطاء الإملائية ونظم الكتابة غير اللاتينية تنقسم إلى رموز أكثر. ففي UTF-8 يشغل الحرف العربي بايتين، لذا ينفق المجزّئ على مستوى البايت الذي تعلّم دمجًا عربيًا قليلًا رموزًا أكثر لكل كلمة.
- الأعداد تختلف من نموذج لآخر. فكل نموذج يتعلّم عمليات دمج خاصة به من بياناته.
وقياسنا بتاريخ 2026-11-14 يبيّن الأثر. المحادثة نفسها باللهجة الخليجية، وطولها 117 كلمة، بلغت 276 رمزًا على GLM 5.3 و229 على Qwen3.8 27B. أي 276 / 117 x 100 = 235.9 مقابل 229 / 117 x 100 = 195.7 رمزًا لكل 100 كلمة. أما الترجمة الإنجليزية للمحادثة نفسها فكلّفت 202 و208 رموز، وهما متقاربان جدًا.
في BroadNet Inference
لا تختار المجزّئ على BroadNet؛ فكل نموذج يستخدم مجزّئه الخاص. قارن الأعداد لنصك الحقيقي في عدّاد الرموز العربية قبل أن تختار نموذجًا لحركة المرور العربية، واقرأ عدد الرموز لكل كلمة في العربية والإنجليزية للجدول الكامل. وتذكّر أن عدد الرموز، لا عدد الكلمات، هو ما يحدد السعر.