BroadRouter
ابدأ الآن

توحيد Unicode (Unicode normalization)

آخر تحديث

توحيد Unicode هو تحويل النص إلى صيغة معيارية بحيث تستخدم السلاسل التي تبدو متطابقة نقاط الترميز نفسها. والصيغ الأربع هي NFD وNFC وNFKD وNFKC؛ وصيغتا K تطويان أيضًا محارف التوافق، مثل أشكال العرض العربية والحروف المركّبة، إلى حروف عادية.

يُسمّى أيضًا: تطبيع Unicode، توحيد يونيكود، تطبيع النص، صيغ التطبيع، NFC، NFKC، NFD، NFKD، Unicode normalization

قد تبدو سلسلتان متطابقتين على الشاشة ومع ذلك تفشلان في اختبار التساوي. وتوحيد Unicode هو الحل.

كيف يعمل

يعرّف UAX #15 أربع صيغ:

الصيغة التعريف
NFD التفكيك القانوني
NFC التفكيك القانوني، ثم التركيب القانوني
NFKD تفكيك التوافق
NFKC تفكيك التوافق، ثم التركيب القانوني

المكافئات القانونية (canonical) ينبغي أن تبدو وتتصرف بالطريقة نفسها، بتعبير MDN. أما مكافئات التوافق (compatibility) فـ”should be treated alike in some — but not necessarily all — applications” (ترجمة: ينبغي أن تُعامل معاملة واحدة في بعض التطبيقات، لا في جميعها بالضرورة)، ولذلك قد تغيّر NFKC وNFKD مظهر النص. والدالة normalize() في JavaScript تستخدم NFC افتراضيًا. وتقدّم Python الصيغ الأربع نفسها في unicodedata.normalize(form, s)، وunicodedata.is_normalized لاختبار سلسلة ما.

والعربية تُظهر النوعين كليهما.

القانوني. يقول معيار Unicode إن أ (U+0623) تتفكك إلى ا (U+0627) مع U+0654 HAMZA ABOVE. ويصل النص من بعض لوحات المفاتيح أو أدوات التحويل بالصيغة ذات المحرفين. وتعيد NFC تركيبه إلى U+0623، فيتطابق.

التوافق. يرمّز Unicode أشكال العرض العربية، أي أشكال الحروف بحسب موضعها والحروف المركّبة، في النطاقين U+FB50 إلى U+FDFF وU+FE70 إلى U+FEFE، ويقول إنها للتوافق و”should not be used in general interchange” (ترجمة: لا ينبغي استخدامها في التبادل العام). ومع ذلك تظهر في النص المنسوخ من ملفات PDF قديمة وفي بعض مخرجات OCR. وتطويها NFKC:

المدخل نقطة الترميز بعد NFKC
ﻻ U+FEFB، LAM WITH ALEF ISOLATED FORM لا (حرفان)
ﷲ U+FDF2، ALLAH ISOLATED FORM الله (أربعة حروف)
ﺍ U+FE8D، ALEF ISOLATED FORM ا
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا"   # True
unicodedata.normalize("NFC", "أ") == "أ"    # True

وتطبّق الدالة normalize_unicode في CAMeL Tools صيغة NFKC افتراضيًا، بعد أن تحوّل أولًا محرفين خاصين، رمز الريال U+FDFC والبسملة المركّبة U+FDFD، إلى حروف عربية عادية.

لماذا يهم

  • البحث وRAG. المستند المستخرج من PDF بأشكال العرض لن يطابق استعلامًا مكتوبًا بلوحة مفاتيح عادية. شغّل NFKC على الاثنين قبل قواعد توحيد النص العربي، التي تفترض حروفًا معيارية.
  • عدد الرموز. أشكال العرض نقاط ترميز مختلفة عن الحروف العادية، فقد يقسّم المجزّئ الكلمة المرئية نفسها إلى عدد مختلف من الرموز. ففي UTF-8، يشغل ﻻ ثلاثة بايتات ويشغل لا أربعة. عُدّ النسختين في عدّاد الرموز العربية إذا كانت مدخلاتك تأتي من ملفات PDF.
  • التحقق. وحّد النص قبل مقارنة مخرجات النموذج بالنص المصدر، مثلًا عند التحقق من أن كيانًا مستخرجًا يظهر فعلًا في المستند.

في BroadNet Inference

لا يذكر المرجع التقني لـ BroadNet ما إذا كانت المدخلات تُوحَّد على الخادم، فوحّد النص في شيفرتك قبل أن ترسله أو تفهرسه أو تقارنه. وللمستندات العربية، يغطي مقال OCR بنماذج الرؤية ودليل الفواتير العربية قراءة الصفحات صورًا بنماذج مثل Gemma 4 VL 26B، ما يتجنب طبقات النص المعطوبة في ملفات PDF. وشغّل NFKC على أي نص يعود قبل أن تطابقه.

أخطاء شائعة

  • تخزين نص NFKC للعرض؛ احتفظ بالأصول بصيغة NFC.
  • توحيد المستندات دون الاستعلامات.
  • افتراض أن التوحيد يزيل التشكيل أو التطويل أو علامات الاتجاه. إنه لا يفعل.

أسئلة شائعة

هل أستخدم NFC أم NFKC؟

NFC لتخزين النص وعرضه، لأنها لا تغيّر مظهره. وNFKC لمفاتيح البحث والمطابقة، حيث يكون طيّ الحروف المركّبة وأشكال العرض هو المطلوب. وتنبّه MDN إلى أن صيغ التوافق تغيّر المظهر المرئي.

هل يزيل توحيد Unicode التشكيل العربي؟

لا. علامات التشكيل محارف مستقلة وتبقى. وإزالتها خطوة منفصلة من خطوات توحيد النص العربي.

هل يزيل التوحيد علامات الاتجاه غير المرئية أو المحارف صفرية العرض؟

لا يزيل محارف التحكم في الاتجاه مثل U+200F أو U+2067؛ فهي تمر عبر NFC وNFKC دون تغيير. احذفها في خطوة منفصلة إذا أفسدت المطابقة.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity