BroadRouter

हम्ज़ा (hamza)

अपडेट किया गया

हम्ज़ा (ء) ग्लॉटल स्टॉप के लिए अरबी अक्षर है। यह अकेले या किसी कुर्सी पर लिखा जाता है: अलिफ़ (أ إ), वाव (ؤ) या ये (ئ), और آ अलिफ़ को मद्दा के साथ जोड़ता है। टाइप किए टेक्स्ट में यह एक-सा नहीं लिखा जाता, सो सर्च इंजन और स्पीच स्कोरिंग अक्सर अलिफ़ वाले रूपों को ا में बदल देते हैं।

अन्य नाम: हम्ज़ा, हमज़ा, hamza kya hai, hamza, hamza normalization, hamzah, hamza forms

हम्ज़ा वह छोटा निशान है जो सबसे ज़्यादा बार सही अरबी वर्तनी को आम वर्तनी से अलग करता है। पढ़ने वाले के लिए أحمد और احمد एक ही नाम हैं, लेकिन कंप्यूटर के लिए अलग-अलग स्ट्रिंग।

यह कैसे काम करता है

Unicode Standard कहता है “the hamza may occur above or below other letters” (अनुवाद: हम्ज़ा दूसरे अक्षरों के ऊपर या नीचे आ सकता है), और कुर्सियों के रूप में अलिफ़, वाव और ये गिनाता है। कुर्सी वाला हर रूप एक प्रीकंपोज़्ड कैरेक्टर के रूप में एन्कोड होता है:

कैरेक्टर कोड पॉइंट Unicode नाम
ء U+0621 ARABIC LETTER HAMZA
أ U+0623 ARABIC LETTER ALEF WITH HAMZA ABOVE
إ U+0625 ARABIC LETTER ALEF WITH HAMZA BELOW
آ U+0622 ARABIC LETTER ALEF WITH MADDA ABOVE
ؤ U+0624 ARABIC LETTER WAW WITH HAMZA ABOVE
ئ U+0626 ARABIC LETTER YEH WITH HAMZA ABOVE

Unicode डीकंपोज़िशन भी तय करता है: أ, ؤ और ئ में से हर एक, कैनोनिकल रूप से, बेस अक्षर के बाद U+0654 ARABIC HAMZA ABOVE के बराबर है। यानी दिखने में एक जैसा أ एक कोड पॉइंट के रूप में भी आ सकता है और दो के रूप में भी। NFC या NFKC वाला Unicode नॉर्मलाइज़ेशन ا + U+0654 को वापस एक U+0623 बना देता है, इसीलिए इसे हम्ज़ा के किसी भी नियम से पहले चलना चाहिए।

टाइप किए टेक्स्ट में हम्ज़ा हमेशा नहीं लिखा जाता, इसलिए एक ही शब्द أ, إ, آ या सादे ا के साथ दिख सकता है। नॉर्मलाइज़ेशन इसी अंतर को निशाना बनाता है। CAMeL Tools का normalize_alef_ar إ أ ٱ آ को ا में बदलता है। Lucene का ArabicNormalizer “hamza with alef seat to a bare alef” (अनुवाद: अलिफ़ की कुर्सी वाले हम्ज़ा को सादे अलिफ़ में) नॉर्मलाइज़ करता है।

यह क्यों मायने रखता है

  • सर्च. यूज़र اسلام टाइप करता है और आपके डॉक्यूमेंट में إسلام है। अलिफ़ नियम के बिना कीवर्ड सर्च इसे नहीं पकड़ता। देखें अरबी टेक्स्ट नॉर्मलाइज़ेशन।
  • स्पीच स्कोरिंग. Open Universal Arabic ASR Leaderboard WER की गणना “removing all punctuation as well as the diacritics, and normalizing characters with Hamzas and Maddas” (अनुवाद: सारे विराम चिह्न और डायक्रिटिक्स हटाकर, और हम्ज़ा व मद्दा वाले कैरेक्टर को नॉर्मलाइज़ करके) के बाद करता है। अगर आप अपना वर्ड एरर रेट यही क़दम उठाए बिना स्कोर करते हैं, तो हम्ज़ा छोड़ने वाला सही ट्रांसक्रिप्ट भी ग़लत गिना जाएगा, और आपके आँकड़े लीडरबोर्ड से तुलना लायक़ नहीं रहेंगे।
  • क़ीमत. हम्ज़ा मिलाने से वे शब्द एक हो जाते हैं जो सिर्फ़ हम्ज़ा में अलग हैं। क्रियाएँ سأل (उसने पूछा) और سال (वह बहा) दोनों سال बन जाती हैं। निपात إن और أن दोनों ان बन जाते हैं। ज़्यादातर सर्च के लिए यह ठीक है; वर्तनी सुधार या क़ानूनी टेक्स्ट के लिए नहीं।

BroadNet Inference पर

BroadNet का API टेक्स्ट बिना बदले आगे भेजता है; हम्ज़ा सँभालना आपके कोड में होता है। BroadNet Transcribe Arabic के ट्रांसक्रिप्ट सामान्य अरबी टेक्स्ट हैं, इसलिए स्कोरिंग से पहले अपने रेफ़रंस और ट्रांसक्रिप्ट दोनों पर एक ही नॉर्मलाइज़ेशन लगाएँ। BroadNet के डॉक्स की सलाह के अनुसार language=ar भेजें। अरबी स्पीच-टू-टेक्स्ट गाइड में अनुरोध का उदाहरण है।

यूज़र के टेक्स्ट में हम्ज़ा सुधारने के लिए चैट मॉडल मदद कर सकता है; वर्तनी सुधार वाली पोस्ट दिखाती है कि कैसे जाँचें कि सिर्फ़ इरादे वाले कैरेक्टर ही बदले। आपकी स्ट्रिंग पर मिलाने का क्या असर होता है, यह देखने के लिए अरबी टेक्स्ट नॉर्मलाइज़र आज़माएँ।

अक्सर पूछे जाने वाले सवाल

हम्ज़ा अक्षर है या डायक्रिटिक?

दोनों मत मौजूद हैं। Unicode ء (U+0621) को एक अक्षर, ARABIC LETTER HAMZA, के रूप में एन्कोड करता है, और इसमें एक combining HAMZA ABOVE (U+0654) भी है, जो डीकंपोज़्ड रूपों में इस्तेमाल होता है।

क्या ؤ और ئ को भी नॉर्मलाइज़ करूँ?

आम टूल डिफ़ॉल्ट रूप से ऐसा नहीं करते। CAMeL Tools का अलिफ़ नियम और Lucene का नियम सिर्फ़ अलिफ़ वाले रूप कवर करते हैं। वाव और ये की कुर्सियाँ भी मिलाने से रिकॉल और बढ़ता है, लेकिन ज़्यादा शब्द आपस में मिल जाते हैं; अपनी क्वेरी पर टेस्ट करें।

क्या LLM छूटे हुए हम्ज़ा ठीक कर देगा?

अक्सर कर सकता है, वर्तनी सुधार के हिस्से के रूप में, लेकिन जाँचें कि उसने और कुछ नहीं बदला। सुधरी हुई कॉपी को भी नॉर्मलाइज़ किए बिना सर्च key के रूप में इस्तेमाल न करें।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें