ہمزہ وہ چھوٹا نشان ہے جو سب سے زیادہ بار درست عربی املا کو عام املا سے الگ کرتا ہے۔ پڑھنے والے کے لیے أحمد اور احمد ایک ہی نام ہیں، لیکن کمپیوٹر کے لیے الگ الگ اسٹرنگز۔
یہ کیسے کام کرتا ہے
Unicode Standard کہتا ہے “the hamza may occur above or below other letters” (ترجمہ: ہمزہ دوسرے حروف کے اوپر یا نیچے آ سکتا ہے)، اور کرسیوں کے طور پر الف، واؤ اور یاء درج کرتا ہے۔ کرسی والی ہر شکل ایک پیشگی مرکب (precomposed) کیریکٹر کے طور پر انکوڈ ہوتی ہے:
| کیریکٹر | کوڈ پوائنٹ | Unicode نام |
|---|---|---|
| ء | U+0621 | ARABIC LETTER HAMZA |
| أ | U+0623 | ARABIC LETTER ALEF WITH HAMZA ABOVE |
| إ | U+0625 | ARABIC LETTER ALEF WITH HAMZA BELOW |
| آ | U+0622 | ARABIC LETTER ALEF WITH MADDA ABOVE |
| ؤ | U+0624 | ARABIC LETTER WAW WITH HAMZA ABOVE |
| ئ | U+0626 | ARABIC LETTER YEH WITH HAMZA ABOVE |
Unicode تحلیلیں (decompositions) بھی طے کرتا ہے: أ، ؤ اور ئ میں سے ہر ایک، کینونیکل طور پر، بنیادی حرف کے بعد U+0654 ARABIC HAMZA ABOVE کے برابر ہے۔ یعنی دیکھنے میں ایک جیسا أ ایک کوڈ پوائنٹ کی شکل میں بھی آ سکتا ہے اور دو کی شکل میں بھی۔ NFC یا NFKC والی Unicode نارملائزیشن ا + U+0654 کو واپس ایک U+0623 بنا دیتی ہے، اسی لیے اسے ہمزہ کے کسی بھی قاعدے سے پہلے چلنا چاہیے۔
ٹائپ شدہ متن میں ہمزہ ہمیشہ نہیں لکھا جاتا، اس لیے ایک ہی لفظ أ، إ، آ یا سادہ ا کے ساتھ نظر آ سکتا ہے۔ نارملائزیشن اسی فرق کو نشانہ بناتی ہے۔ CAMeL Tools کا normalize_alef_ar إ أ ٱ آ کو ا میں بدلتا ہے۔ Lucene کا ArabicNormalizer “hamza with alef seat to a bare alef” (ترجمہ: الف کی کرسی والے ہمزہ کو سادہ الف میں) نارملائز کرتا ہے۔
یہ کیوں اہم ہے
- سرچ۔ صارف اسلام ٹائپ کرتا ہے اور آپ کی دستاویز میں إسلام ہے۔ الف والے قاعدے کے بغیر کی ورڈ سرچ اسے نہیں پکڑتی۔ دیکھیں عربی متن کی نارملائزیشن۔
- اسپیچ اسکورنگ۔ Open Universal Arabic ASR Leaderboard WER کا حساب “removing all punctuation as well as the diacritics, and normalizing characters with Hamzas and Maddas” (ترجمہ: تمام رموزِ اوقاف اور اعراب ہٹا کر، اور ہمزہ اور مد والے کیریکٹرز کو نارملائز کر کے) کے بعد کرتا ہے۔ اگر آپ اپنا ورڈ ایرر ریٹ یہی قدم اٹھائے بغیر اسکور کرتے ہیں تو ہمزہ چھوڑنے والا درست ٹرانسکرپٹ بھی غلط گنا جائے گا، اور آپ کے اعداد لیڈربورڈ سے موازنے کے قابل نہیں رہیں گے۔
- قیمت۔ ہمزہ ملانے سے وہ الفاظ ایک ہو جاتے ہیں جو صرف ہمزہ میں مختلف ہیں۔ افعال سأل (اس نے پوچھا) اور سال (وہ بہا) دونوں سال بن جاتے ہیں۔ حروف إن اور أن دونوں ان بن جاتے ہیں۔ زیادہ تر سرچ کے لیے یہ قابلِ قبول ہے؛ املا کی درستی یا قانونی متن کے لیے نہیں۔
BroadNet Inference پر
BroadNet کا API متن بغیر بدلے آگے بھیجتا ہے؛ ہمزہ سنبھالنا آپ کے کوڈ میں ہوتا ہے۔ BroadNet Transcribe Arabic کے ٹرانسکرپٹس عام عربی متن ہیں، اس لیے اسکورنگ سے پہلے اپنے حوالہ متن اور ٹرانسکرپٹ دونوں پر ایک ہی نارملائزیشن لگائیں۔ BroadNet کی دستاویزات کے مشورے کے مطابق language=ar بھیجیں۔ عربی اسپیچ ٹو ٹیکسٹ گائیڈ میں درخواست کی مثال ہے۔
صارف کے متن میں ہمزہ درست کرنے کے لیے چیٹ ماڈل مدد کر سکتا ہے؛ املا کی درستی والی پوسٹ دکھاتی ہے کہ کیسے جانچیں کہ صرف مطلوبہ کیریکٹرز ہی بدلے۔ آپ کی اسٹرنگز پر ملانے کا کیا اثر ہوتا ہے، یہ دیکھنے کے لیے عربی ٹیکسٹ نارملائزر آزمائیں۔