المجزّئ هو ما يحدد عدد الرموز التي يتحول إليها نصك، ومن ثَمّ حجم ما يستهلكه من نافذة السياق ومن الفاتورة.
كيف يعمل
للمجزّئ جزءان: مفردات ثابتة تربط قطع النص بمعرّفات عددية، وقواعد لتقسيم النص إلى تلك القطع. ويصف توثيق Hugging Face الخوارزميات الشائعة بأنها طرق للكلمات الجزئية (subword): تبقى الكلمات الشائعة كاملة، وتنقسم الكلمات النادرة إلى قطع أصغر معروفة، فقد تصبح “annoyingly” هي “annoying” + “ly”. وتستخدم معظم نماذج اللغة الحالية ترميز أزواج البايتات أو صيغة منه.
يجري الترميز في ثلاث خطوات:
- التقسيم المبدئي. التقسيم عند المسافات وعلامات الترقيم والأرقام.
- ربط القطع بالمعرّفات. تطبيق عمليات الدمج المتعلَّمة والبحث عن كل قطعة في المفردات.
- إضافة الرموز الخاصة. يغلّف قالب المحادثة الرسائل بعلامات الأدوار، وهي تُحتسب أيضًا.
وفك الترميز يعكس الخطوة 2. وفي نماذج الأوزان المفتوحة، يوجد كل هذا في ملف tokenizer.json داخل مستودع النموذج.
لماذا يهم
المجزّئات المختلفة تعطي أعدادًا مختلفة للنص نفسه. رمّزنا نصوص مجموعة البيانات بالمجزّئ المثبّت لكل نموذج (الإنجليزية: نثر من Wikipedia وProject Gutenberg؛ العربية: 2,009 جملة من FLORES-200 إضافةً إلى ثلاث مقدمات من Wikipedia؛ القياس في 2026-11-15؛ الرموز لكل 100 كلمة = الرموز / الكلمات x 100):
| النص | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
|---|---|---|---|---|---|
| نثر إنجليزي، 1,183 كلمة | 1,507 → 127.4 | 1,526 → 129.0 | 1,561 → 132.0 | 1,537 → 129.9 | 1,501 → 126.9 |
| عربية فصحى، 39,037 كلمة | 86,690 → 222.1 | 95,230 → 243.9 | 71,424 → 183.0 | 79,120 → 202.7 | 73,593 → 188.5 |
الإنجليزية متقاربة في كل النماذج. أما العربية فلا: يحتاج GLM 5.3 إلى 95,230 / 71,424 = 1.33 ضعف الرموز التي يحتاجها Qwen3.8 27B للنص نفسه. ومع سعر لكل رمز، تصبح هذه الفجوة فجوة في التكلفة، وتغيّر أيضًا مقدار النص العربي الذي يتسع في نافذة السياق. ويستخدم عمود Gemma مجزّئ Gemma 4 الأساسي من Google؛ ونسخة BroadNet مبنية على ذلك النموذج، ونفترض أنها تحتفظ بالمجزّئ نفسه. والأرقام الكاملة لكل نموذج، مع تنزيلات CSV وJSON، في مجموعة بيانات كفاءة المجزّئات.
في BroadNet Inference
تحاسب BroadNet محادثات الدفع حسب الاستخدام بحسب رموز الإدخال والإخراج، وتُبلغ عن الأعداد في كائن usage في كل استجابة، فالرقم المعتمد هو ما تُرجعه الواجهة. وللتقدير قبل الإرسال، الصق النص في عدّاد الرموز أو عدّاد الرموز العربية، اللذين يحمّلان ملفات المجزّئ المثبّتة نفسها. والقياس الكامل في عدد الرموز لكل كلمة في العربية والإنجليزية.
أخطاء شائعة
- العدّ بمجزّئ نموذج والمحاسبة على نموذج آخر. استخدم مجزّئ النموذج الذي تستدعيه.
- نسيان قالب المحادثة. علامات الأدوار وأوامر النظام تضيف رموزًا لا تظهر في عدّ النص العادي.