हम्ज़ा वह छोटा निशान है जो सबसे ज़्यादा बार सही अरबी वर्तनी को आम वर्तनी से अलग करता है। पढ़ने वाले के लिए أحمد और احمد एक ही नाम हैं, लेकिन कंप्यूटर के लिए अलग-अलग स्ट्रिंग।
यह कैसे काम करता है
Unicode Standard कहता है “the hamza may occur above or below other letters” (अनुवाद: हम्ज़ा दूसरे अक्षरों के ऊपर या नीचे आ सकता है), और कुर्सियों के रूप में अलिफ़, वाव और ये गिनाता है। कुर्सी वाला हर रूप एक प्रीकंपोज़्ड कैरेक्टर के रूप में एन्कोड होता है:
| कैरेक्टर | कोड पॉइंट | Unicode नाम |
|---|---|---|
| ء | U+0621 | ARABIC LETTER HAMZA |
| أ | U+0623 | ARABIC LETTER ALEF WITH HAMZA ABOVE |
| إ | U+0625 | ARABIC LETTER ALEF WITH HAMZA BELOW |
| آ | U+0622 | ARABIC LETTER ALEF WITH MADDA ABOVE |
| ؤ | U+0624 | ARABIC LETTER WAW WITH HAMZA ABOVE |
| ئ | U+0626 | ARABIC LETTER YEH WITH HAMZA ABOVE |
Unicode डीकंपोज़िशन भी तय करता है: أ, ؤ और ئ में से हर एक, कैनोनिकल रूप से, बेस अक्षर के बाद U+0654 ARABIC HAMZA ABOVE के बराबर है। यानी दिखने में एक जैसा أ एक कोड पॉइंट के रूप में भी आ सकता है और दो के रूप में भी। NFC या NFKC वाला Unicode नॉर्मलाइज़ेशन ا + U+0654 को वापस एक U+0623 बना देता है, इसीलिए इसे हम्ज़ा के किसी भी नियम से पहले चलना चाहिए।
टाइप किए टेक्स्ट में हम्ज़ा हमेशा नहीं लिखा जाता, इसलिए एक ही शब्द أ, إ, آ या सादे ا के साथ दिख सकता है। नॉर्मलाइज़ेशन इसी अंतर को निशाना बनाता है। CAMeL Tools का normalize_alef_ar إ أ ٱ آ को ا में बदलता है। Lucene का ArabicNormalizer “hamza with alef seat to a bare alef” (अनुवाद: अलिफ़ की कुर्सी वाले हम्ज़ा को सादे अलिफ़ में) नॉर्मलाइज़ करता है।
यह क्यों मायने रखता है
- सर्च. यूज़र اسلام टाइप करता है और आपके डॉक्यूमेंट में إسلام है। अलिफ़ नियम के बिना कीवर्ड सर्च इसे नहीं पकड़ता। देखें अरबी टेक्स्ट नॉर्मलाइज़ेशन।
- स्पीच स्कोरिंग. Open Universal Arabic ASR Leaderboard WER की गणना “removing all punctuation as well as the diacritics, and normalizing characters with Hamzas and Maddas” (अनुवाद: सारे विराम चिह्न और डायक्रिटिक्स हटाकर, और हम्ज़ा व मद्दा वाले कैरेक्टर को नॉर्मलाइज़ करके) के बाद करता है। अगर आप अपना वर्ड एरर रेट यही क़दम उठाए बिना स्कोर करते हैं, तो हम्ज़ा छोड़ने वाला सही ट्रांसक्रिप्ट भी ग़लत गिना जाएगा, और आपके आँकड़े लीडरबोर्ड से तुलना लायक़ नहीं रहेंगे।
- क़ीमत. हम्ज़ा मिलाने से वे शब्द एक हो जाते हैं जो सिर्फ़ हम्ज़ा में अलग हैं। क्रियाएँ سأل (उसने पूछा) और سال (वह बहा) दोनों سال बन जाती हैं। निपात إن और أن दोनों ان बन जाते हैं। ज़्यादातर सर्च के लिए यह ठीक है; वर्तनी सुधार या क़ानूनी टेक्स्ट के लिए नहीं।
BroadNet Inference पर
BroadNet का API टेक्स्ट बिना बदले आगे भेजता है; हम्ज़ा सँभालना आपके कोड में होता है। BroadNet Transcribe Arabic के ट्रांसक्रिप्ट सामान्य अरबी टेक्स्ट हैं, इसलिए स्कोरिंग से पहले अपने रेफ़रंस और ट्रांसक्रिप्ट दोनों पर एक ही नॉर्मलाइज़ेशन लगाएँ। BroadNet के डॉक्स की सलाह के अनुसार language=ar भेजें। अरबी स्पीच-टू-टेक्स्ट गाइड में अनुरोध का उदाहरण है।
यूज़र के टेक्स्ट में हम्ज़ा सुधारने के लिए चैट मॉडल मदद कर सकता है; वर्तनी सुधार वाली पोस्ट दिखाती है कि कैसे जाँचें कि सिर्फ़ इरादे वाले कैरेक्टर ही बदले। आपकी स्ट्रिंग पर मिलाने का क्या असर होता है, यह देखने के लिए अरबी टेक्स्ट नॉर्मलाइज़र आज़माएँ।