---
title: "ما هو المجزّئ (Tokenizer)؟ كيف تقسّم نماذج اللغة النص لرموز"
description: "المجزّئ يحوّل النص إلى معرّفات الرموز التي يقرؤها نموذج اللغة. كيف يعمل، ولماذا يعطي النص نفسه عدد رموز مختلفًا في كل نموذج، مع بيانات عربية مقيسة."
url: https://broadrouter.com/ar/glossary/tokenizer/
lang: ar
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

تُرجمت هذه الصفحة من الإنجليزية بمساعدة الذكاء الاصطناعي. [اقرأ الأصل الإنجليزي](https://broadrouter.com/glossary/tokenizer/) (حُدّث في 2026-11-16).

# المجزّئ (Tokenizer)

آخر تحديث 2026-11-16

المجزّئ (tokenizer) هو المكوّن الذي يحوّل النص إلى سلسلة معرّفات رموز عددية يقرؤها نموذج اللغة، ويحوّل المعرّفات المولَّدة إلى نص من جديد. ولكل نموذج مجزّئه الخاص، فقد يُنتج النص نفسه عددًا مختلفًا من الرموز (التوكنات) في نماذج مختلفة.

يُسمّى أيضًا: مجزئ النص، المرمّز، محلل الرموز، التقطيع إلى رموز، توكنايزر، LLM tokenizer، tokenizer.json، subword tokenizer، text tokenizer

المجزّئ هو ما يحدد عدد [الرموز](https://broadrouter.com/ar/glossary/token/) التي يتحول إليها نصك، ومن ثَمّ حجم ما يستهلكه من نافذة السياق ومن الفاتورة.

## كيف يعمل

للمجزّئ جزءان: مفردات ثابتة تربط قطع النص بمعرّفات عددية، وقواعد لتقسيم النص إلى تلك القطع. ويصف توثيق Hugging Face الخوارزميات الشائعة بأنها طرق للكلمات الجزئية (subword): تبقى الكلمات الشائعة كاملة، وتنقسم الكلمات النادرة إلى قطع أصغر معروفة، فقد تصبح “annoyingly” هي “annoying” + “ly”. وتستخدم معظم نماذج اللغة الحالية [ترميز أزواج البايتات](https://broadrouter.com/ar/glossary/bpe/) أو صيغة منه.

يجري الترميز في ثلاث خطوات:

1.  **التقسيم المبدئي.** التقسيم عند المسافات وعلامات الترقيم والأرقام.
2.  **ربط القطع بالمعرّفات.** تطبيق عمليات الدمج المتعلَّمة والبحث عن كل قطعة في المفردات.
3.  **إضافة الرموز الخاصة.** يغلّف قالب المحادثة الرسائل بعلامات الأدوار، وهي تُحتسب أيضًا.

وفك الترميز يعكس الخطوة 2. وفي نماذج الأوزان المفتوحة، يوجد كل هذا في ملف `tokenizer.json` داخل مستودع النموذج.

## لماذا يهم

المجزّئات المختلفة تعطي أعدادًا مختلفة للنص نفسه. رمّزنا نصوص مجموعة البيانات بالمجزّئ المثبّت لكل نموذج (الإنجليزية: نثر من Wikipedia وProject Gutenberg؛ العربية: 2,009 جملة من FLORES-200 إضافةً إلى ثلاث مقدمات من Wikipedia؛ القياس في 2026-11-15؛ الرموز لكل 100 كلمة = الرموز / الكلمات x 100):

| النص | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
| --- | --- | --- | --- | --- | --- |
| نثر إنجليزي، 1,183 كلمة | 1,507 → 127.4 | 1,526 → 129.0 | 1,561 → 132.0 | 1,537 → 129.9 | 1,501 → 126.9 |
| عربية فصحى، 39,037 كلمة | 86,690 → 222.1 | 95,230 → 243.9 | 71,424 → 183.0 | 79,120 → 202.7 | 73,593 → 188.5 |

الإنجليزية متقاربة في كل النماذج. أما العربية فلا: يحتاج GLM 5.3 إلى 95,230 / 71,424 = 1.33 ضعف الرموز التي يحتاجها Qwen3.8 27B للنص نفسه. ومع سعر لكل رمز، تصبح هذه الفجوة فجوة في التكلفة، وتغيّر أيضًا مقدار النص العربي الذي يتسع في [نافذة السياق](https://broadrouter.com/ar/glossary/context-window/). ويستخدم عمود Gemma مجزّئ Gemma 4 الأساسي من Google؛ ونسخة BroadNet مبنية على ذلك النموذج، ونفترض أنها تحتفظ بالمجزّئ نفسه. والأرقام الكاملة لكل نموذج، مع تنزيلات CSV وJSON، في [مجموعة بيانات كفاءة المجزّئات](https://broadrouter.com/data/tokenizer-efficiency/).

## في BroadNet Inference

تحاسب BroadNet محادثات الدفع حسب الاستخدام بحسب [رموز الإدخال والإخراج](https://broadrouter.com/ar/glossary/input-and-output-tokens/)، وتُبلغ عن الأعداد في كائن `usage` في كل استجابة، فالرقم المعتمد هو ما تُرجعه الواجهة. وللتقدير قبل الإرسال، الصق النص في [عدّاد الرموز](https://broadrouter.com/tools/token-counter/) أو [عدّاد الرموز العربية](https://broadrouter.com/tools/arabic-token-counter/)، اللذين يحمّلان ملفات المجزّئ المثبّتة نفسها. والقياس الكامل في [عدد الرموز لكل كلمة في العربية والإنجليزية](https://broadrouter.com/ar/blog/tokens-per-word-arabic-english/).

## أخطاء شائعة

-   العدّ بمجزّئ نموذج والمحاسبة على نموذج آخر. استخدم مجزّئ النموذج الذي تستدعيه.
-   نسيان قالب المحادثة. علامات الأدوار وأوامر النظام تضيف رموزًا لا تظهر في عدّ النص العادي.

## أسئلة شائعة

### هل تستخدم كل نماذج اللغة المجزّئ نفسه؟

لا. كل عائلة نماذج تدرّب مجزّئها الخاص بمفرداته الخاصة. ففي مجموعة بياناتنا للمجزّئات، كانت 39,037 كلمة عربية نفسها 71,424 رمزًا على Qwen3.8 27B و95,230 على GLM 5.3.

### أين أجد مجزّئ نموذج ما؟

في نماذج الأوزان المفتوحة هو الملف tokenizer.json في مستودع النموذج على Hugging Face. حمّله بمكتبة tokenizers من Hugging Face لعدّ الرموز بدقة.

### هل المجزّئ هو نفسه التجزئة إلى رموز؟

التجزئة إلى رموز (tokenization) هي عملية تقسيم النص إلى رموز. أما المجزّئ فهو الملف والشيفرة اللذان ينفّذانها لنموذج محدد.

## انظر أيضًا

-   [الرمز (التوكن، Token)](https://broadrouter.com/ar/glossary/token/) (مصطلح)
-   [ترميز أزواج البايتات (BPE)](https://broadrouter.com/ar/glossary/bpe/) (مصطلح)
-   [حجم المفردات (Vocabulary size)](https://broadrouter.com/ar/glossary/vocabulary-size/) (مصطلح)
-   [رموز الإدخال والإخراج (Input and output tokens)](https://broadrouter.com/ar/glossary/input-and-output-tokens/) (مصطلح)
-   [نافذة السياق (Context window)](https://broadrouter.com/ar/glossary/context-window/) (مصطلح)
-   [قالب المحادثة (Chat template)](https://broadrouter.com/ar/glossary/chat-template/) (مصطلح)
-   [توحيد Unicode (Unicode normalization)](https://broadrouter.com/ar/glossary/unicode-normalization/) (مصطلح)
-   [استخدام OpenAI Python SDK مع BroadNet Inference](https://broadrouter.com/ar/guides/openai-python-sdk/) (دليل)
-   [عدد الرموز لكل كلمة في العربية والإنجليزية: لماذا تكلّف العربية أكثر؟](https://broadrouter.com/ar/blog/tokens-per-word-arabic-english/) (مقال)
-   [كيف تحسب عدد الرموز قبل إرسال طلب إلى LLM API؟](https://broadrouter.com/ar/blog/count-tokens-before-sending/) (مقال)
-   [هندسة الأوامر بالعربية: المستوى اللغوي والاتجاه والأرقام والنص المختلط](https://broadrouter.com/ar/blog/arabic-prompt-engineering/) (مقال)

جرّبه على مهامك الفعلية. تبدأ الحسابات الجديدة برصيد قدره $5 لاستخدام Gemma والتفريغ الصوتي. أما DeepSeek وGLM وQwen3.8 فتتطلب شحن الرصيد.

[ابدأ الآن](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ar-glossary-tokenizer&utm_content=page-cta) ·

**المصادر**

-   [Hugging Face Transformers، خوارزميات التجزئة إلى رموز (تاريخ المراجعة 2026-11-16)](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [مستودع نموذج على Hugging Face، Qwen/Qwen3.8-27B (تاريخ المراجعة 2026-11-16)](https://huggingface.co/Qwen/Qwen3.8-27B)
-   [مستودع نموذج على Hugging Face، deepseek-ai/DeepSeek-V4.1-Flash (تاريخ المراجعة 2026-11-16)](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
-   [مستودع نموذج على Hugging Face، google/gemma-4-26B-A4B-it (تاريخ المراجعة 2026-11-16)](https://huggingface.co/google/gemma-4-26B-A4B-it)
