ज़्यादातर अरबी पाठकों के लिए مدرسة और مدرسه एक ही शब्द हैं, “स्कूल”। स्ट्रिंग की तुलना के लिए ये अलग हैं। वजह है ता मरबूता।
यह कैसे काम करता है
Unicode Standard में TEH MARBUTA (U+0629) एक trailing कैरेक्टर के रूप में दर्ज है, यानी ऐसा अक्षर जो सिर्फ़ शब्द या morpheme के अंत में आता है। यह right-joining है, इसलिए सिर्फ़ अपने से पहले वाले अक्षर से जुड़ता है। इसकी शक्ल शब्द के अंत में HEH (U+0647) की शक्ल है, ऊपर दो बिंदुओं के साथ:
| कैरेक्टर | कोड पॉइंट | Unicode नाम | ب के बाद अंतिम रूप |
|---|---|---|---|
| ة | U+0629 | ARABIC LETTER TEH MARBUTA | بة |
| ه | U+0647 | ARABIC LETTER HEH | به |
क्योंकि शब्द के अंत में दोनों में सिर्फ़ दो बिंदुओं का फ़र्क़ है, टाइप किए टेक्स्ट में दोनों वर्तनियाँ मिलती हैं। Bouamor et al. (2018) बताते हैं कि मॉडर्न स्टैंडर्ड अरबी की एक मानक वर्तनी है, लेकिन बोलियों की नहीं, और लोग अक्सर शब्दों को उच्चारण के हिसाब से लिखते हैं। इसलिए अनौपचारिक और बोलचाल की अरबी में वहाँ अंतिम ه मिलने की उम्मीद रखें जहाँ शब्दकोश ة लिखेगा।
सर्च नॉर्मलाइज़र दोनों को एक कर देते हैं। CAMeL Tools का normalize_teh_marbuta_ar सीधा-सा s.replace('ة', 'ه') है, और Lucene का ArabicNormalizer “normalization of teh marbuta to heh” (अनुवाद: teh marbuta का heh में नॉर्मलाइज़ेशन) को एक नियम के रूप में लिस्ट करता है।
यह क्यों मायने रखता है
रिकॉल. ة को ه में मिलाने से مدرسه की क्वेरी उन दस्तावेज़ों को भी ढूँढ लेती है जिनमें مدرسة लिखा है, और उलटा भी। यह अरबी टेक्स्ट नॉर्मलाइज़ेशन के मानक नियमों में से एक है, alef और हम्ज़ा फ़ोल्डिंग के साथ।
मिले हुए शब्द. यह नियम उन शब्दों को भी एक कर देता है जिनमें सिर्फ़ यही अक्षर अलग है:
| मूल | अर्थ | ة से ه के बाद |
|---|---|---|
| كرة | गेंद | كره |
| كره | नफ़रत | كره |
सर्च के लिए कभी-कभार का ग़लत मिलान आम तौर पर ठीक क़ीमत है। एंटिटी मैचिंग, स्पेलिंग सुधार या क़ानूनी टेक्स्ट के लिए फ़र्क़ बनाए रखें और मूल रूपों की तुलना करें।
स्कोरिंग. स्पीच-टू-टेक्स्ट के मूल्यांकन में, जहाँ रेफ़रेंस में ة है वहाँ ه लिखने वाली ट्रांसक्रिप्ट एक शब्द-त्रुटि गिनी जाती है, जब तक दोनों को एक ही तरह नॉर्मलाइज़ न किया जाए। स्कोर करने से पहले तय करें, और उसे लिखें।
BroadNet Inference पर
BroadNet का API टेक्स्ट नॉर्मलाइज़ नहीं करता। चैट मॉडल ة और ه को ठीक वैसे ही लेते और लौटाते हैं जैसे लिखे गए हैं, और BroadNet Transcribe Arabic सामान्य अरबी टेक्स्ट लौटाता है। ة वाला नियम अपने इंडेक्स या स्कोरिंग कोड में, दोनों तरफ़, लागू करें।
अगर आप चैट मॉडल से स्पेलिंग सुधरवाते हैं, तो उसके बदलाव कोड में जाँचें: अरबी स्पेलिंग सुधार पोस्ट diff पर आधारित जाँच दिखाती है। इंडेक्स के लिए अरबी RAG सर्च पोस्ट और नॉर्मलाइज़ेशन गाइड बताते हैं कि यह नियम कहाँ फ़िट होता है। अपनी स्ट्रिंग पर यह नियम अरबी टेक्स्ट नॉर्मलाइज़र से आज़मा सकते हैं।