BroadRouter
ابدأ الآن

المجزّئ (Tokenizer)

آخر تحديث

المجزّئ (tokenizer) هو المكوّن الذي يحوّل النص إلى سلسلة معرّفات رموز عددية يقرؤها نموذج اللغة، ويحوّل المعرّفات المولَّدة إلى نص من جديد. ولكل نموذج مجزّئه الخاص، فقد يُنتج النص نفسه عددًا مختلفًا من الرموز (التوكنات) في نماذج مختلفة.

يُسمّى أيضًا: مجزئ النص، المرمّز، محلل الرموز، التقطيع إلى رموز، توكنايزر، LLM tokenizer، tokenizer.json، subword tokenizer، text tokenizer

المجزّئ هو ما يحدد عدد الرموز التي يتحول إليها نصك، ومن ثَمّ حجم ما يستهلكه من نافذة السياق ومن الفاتورة.

كيف يعمل

للمجزّئ جزءان: مفردات ثابتة تربط قطع النص بمعرّفات عددية، وقواعد لتقسيم النص إلى تلك القطع. ويصف توثيق Hugging Face الخوارزميات الشائعة بأنها طرق للكلمات الجزئية (subword): تبقى الكلمات الشائعة كاملة، وتنقسم الكلمات النادرة إلى قطع أصغر معروفة، فقد تصبح “annoyingly” هي “annoying” + “ly”. وتستخدم معظم نماذج اللغة الحالية ترميز أزواج البايتات أو صيغة منه.

يجري الترميز في ثلاث خطوات:

  1. التقسيم المبدئي. التقسيم عند المسافات وعلامات الترقيم والأرقام.
  2. ربط القطع بالمعرّفات. تطبيق عمليات الدمج المتعلَّمة والبحث عن كل قطعة في المفردات.
  3. إضافة الرموز الخاصة. يغلّف قالب المحادثة الرسائل بعلامات الأدوار، وهي تُحتسب أيضًا.

وفك الترميز يعكس الخطوة 2. وفي نماذج الأوزان المفتوحة، يوجد كل هذا في ملف tokenizer.json داخل مستودع النموذج.

لماذا يهم

المجزّئات المختلفة تعطي أعدادًا مختلفة للنص نفسه. رمّزنا نصوص مجموعة البيانات بالمجزّئ المثبّت لكل نموذج (الإنجليزية: نثر من Wikipedia وProject Gutenberg؛ العربية: 2,009 جملة من FLORES-200 إضافةً إلى ثلاث مقدمات من Wikipedia؛ القياس في 2026-11-15؛ الرموز لكل 100 كلمة = الرموز / الكلمات x 100):

النص DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4 GPT o200k
نثر إنجليزي، 1,183 كلمة 1,507 → 127.4 1,526 → 129.0 1,561 → 132.0 1,537 → 129.9 1,501 → 126.9
عربية فصحى، 39,037 كلمة 86,690 → 222.1 95,230 → 243.9 71,424 → 183.0 79,120 → 202.7 73,593 → 188.5

الإنجليزية متقاربة في كل النماذج. أما العربية فلا: يحتاج GLM 5.3 إلى 95,230 / 71,424 = 1.33 ضعف الرموز التي يحتاجها Qwen3.8 27B للنص نفسه. ومع سعر لكل رمز، تصبح هذه الفجوة فجوة في التكلفة، وتغيّر أيضًا مقدار النص العربي الذي يتسع في نافذة السياق. ويستخدم عمود Gemma مجزّئ Gemma 4 الأساسي من Google؛ ونسخة BroadNet مبنية على ذلك النموذج، ونفترض أنها تحتفظ بالمجزّئ نفسه. والأرقام الكاملة لكل نموذج، مع تنزيلات CSV وJSON، في مجموعة بيانات كفاءة المجزّئات.

في BroadNet Inference

تحاسب BroadNet محادثات الدفع حسب الاستخدام بحسب رموز الإدخال والإخراج، وتُبلغ عن الأعداد في كائن usage في كل استجابة، فالرقم المعتمد هو ما تُرجعه الواجهة. وللتقدير قبل الإرسال، الصق النص في عدّاد الرموز أو عدّاد الرموز العربية، اللذين يحمّلان ملفات المجزّئ المثبّتة نفسها. والقياس الكامل في عدد الرموز لكل كلمة في العربية والإنجليزية.

أخطاء شائعة

  • العدّ بمجزّئ نموذج والمحاسبة على نموذج آخر. استخدم مجزّئ النموذج الذي تستدعيه.
  • نسيان قالب المحادثة. علامات الأدوار وأوامر النظام تضيف رموزًا لا تظهر في عدّ النص العادي.

أسئلة شائعة

هل تستخدم كل نماذج اللغة المجزّئ نفسه؟

لا. كل عائلة نماذج تدرّب مجزّئها الخاص بمفرداته الخاصة. ففي مجموعة بياناتنا للمجزّئات، كانت 39,037 كلمة عربية نفسها 71,424 رمزًا على Qwen3.8 27B و95,230 على GLM 5.3.

أين أجد مجزّئ نموذج ما؟

في نماذج الأوزان المفتوحة هو الملف tokenizer.json في مستودع النموذج على Hugging Face. حمّله بمكتبة tokenizers من Hugging Face لعدّ الرموز بدقة.

هل المجزّئ هو نفسه التجزئة إلى رموز؟

التجزئة إلى رموز (tokenization) هي عملية تقسيم النص إلى رموز. أما المجزّئ فهو الملف والشيفرة اللذان ينفّذانها لنموذج محدد.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity