قد تعني الحروف العربية الثلاثة نفسها «كَتَبَ» أو «كُتُب» أو «كُتِبَ». التشكيل هو ما يميّز بينها، ومعظم النصوص تُكتب من دونه.
كيف يعمل
يسمّي معيار Unicode هذه العلامات tashkil (التشكيل) ويقول إنها “may be written as combining marks” (ترجمة: يمكن أن تُكتب علاماتٍ مركّبة)، ثم يضيف: “In normal writing, however, these marks are omitted.” (ترجمة: لكن هذه العلامات تُحذف في الكتابة العادية.) والحركات (harakat) هي اسم المجموعة الفرعية للحركات القصيرة. وكل علامة حرف مركّب مستقل يتبع الحرف الذي يعلوه أو يقع تحته. وتقع العلامات الرئيسية في النطاق من U+064B إلى U+0652:
| نقطة الترميز | الاسم | الوظيفة |
|---|---|---|
| U+064E | FATHA (الفتحة) | حركة a قصيرة |
| U+064F | DAMMA (الضمة) | حركة u قصيرة |
| U+0650 | KASRA (الكسرة) | حركة i قصيرة |
| U+064B to U+064D | FATHATAN وDAMMATAN وKASRATAN | التنوين (نهايات ـًا وـٌ وـٍ) |
| U+0651 | SHADDA (الشدّة) | حرف مضعّف |
| U+0652 | SUKUN (السكون) | لا حركة |
مثال تطبيقي على الكلمة المجرّدة كتب:
- كَتَبَ (kataba)، أي «he wrote»
- كُتُب (kutub)، أي «books»
- كُتِبَ (kutiba)، أي «it was written»
من دون علامات، الثلاث سلسلة نصية واحدة. ويختار القارئ المعنى من الجملة. وعلى البرمجيات أن تفعل الشيء نفسه، وهذه وظيفة أداة التشكيل الآلي. بنى Zerrouki وBalla (2017) مدوّنة Tashkeela، نحو 75.6 مليون كلمة معظمها من العربية الكلاسيكية، لأن النصوص المشكولة بالكامل نادرة وأدوات التشكيل تحتاجها للتدريب. ويُبلغ Fadel وآخرون (2019) عن نماذج تشكيل عصبية تضاهي الأعمال السابقة أو تتفوّق عليها في اختبار معياري عام، ويبيّنون أن التشكيل قد يساعد الترجمة الآلية.
وتتعامل المكتبات مع هذه العلامات بوصفها مجموعة واحدة. فمجموعة AR_DIAC_CHARSET في CAMeL Tools تضم النطاق من U+064B إلى U+0652 إضافةً إلى U+0670 (الألف الخنجرية)، وتحذفها الدالة dediac_ar.
لماذا يهم
- البحث والمطابقة. الكلمة نفسها مكتوبة بالتشكيل ومن دونه سلسلتان نصيتان مختلفتان. احذفه من مفتاح البحث ضمن توحيد النص العربي، وإلا فستفشل المطابقات الدقيقة.
- الرموز. كل علامة حرف إضافي يعالجه المجزّئ (tokenizer). والنص المشكول بالكامل يستهلك رموزًا أكثر بوضوح من النص المجرّد؛ راجع دليل التشكيل للنسب المقيسة، وعدد الرموز لكل كلمة عربية لخط الأساس.
- الكلام والتقييم. تعود النصوص المفرّغة عادةً دون تشكيل. احسب معدل الخطأ في الكلمات بعد حذف التشكيل من النصين، وإلا فستُحتسب كلمة صحيحة عليها فتحة زائدة خطأً.
- متى تحتاج إليه. تحويل النص إلى كلام، وتعليم اللغة، والنصوص القرآنية والشعرية، والأسماء الملتبسة من دون حركات.
في BroadNet Inference
لا توفّر BroadNet نقطة نهاية للتشكيل. تستقبل نماذج المحادثة التشكيل نصًا عاديًا عبر POST /v1/chat/completions، فيمكنك أن تطلب من نموذج مثل Qwen3.8 27B إضافة العلامات أو حذفها. والنمط الآمن هو فحص الرد في الشيفرة: احذف التشكيل وقارنه بمدخلك، حرفًا بحرف. ويحتوي مقال التشكيل بنماذج اللغة على الأمر وطريقة الفحص.
أما للحذف فلا تستخدم نموذجًا إطلاقًا. تعبير نمطي (regex) قصير على النطاق من U+064B إلى U+0652 أسرع ومجاني ودقيق. ويعرض أداة توحيد النص العربي الأثر في المتصفح.