वही तीन अरबी अक्षर “उसने लिखा”, “किताबें” या “लिखा गया” का मतलब दे सकते हैं। इनमें फ़र्क़ डायक्रिटिक्स से होता है, और ज़्यादातर टेक्स्ट इन्हें लिखता ही नहीं।
यह कैसे काम करता है
Unicode Standard इन चिह्नों को tashkil कहता है और लिखता है कि ये “may be written as combining marks” (अनुवाद: combining marks के रूप में लिखे जा सकते हैं), फिर जोड़ता है: “In normal writing, however, these marks are omitted.” (अनुवाद: लेकिन सामान्य लेखन में ये चिह्न छोड़ दिए जाते हैं।) हरकात छोटे स्वरों वाले उपसमूह का नाम है। हर चिह्न अपना अलग combining कैरेक्टर है, जो उस अक्षर के बाद आता है जिस पर वह लगता है। मुख्य चिह्न U+064B से U+0652 की रेंज में हैं:
| कोड पॉइंट | नाम | काम |
|---|---|---|
| U+064E | FATHA | छोटा a |
| U+064F | DAMMA | छोटा u |
| U+0650 | KASRA | छोटा i |
| U+064B से U+064D | FATHATAN, DAMMATAN, KASRATAN | तनवीन (-an, -un, -in अंत) |
| U+0651 | SHADDA | दोहरा व्यंजन |
| U+0652 | SUKUN | कोई स्वर नहीं |
बिना चिह्न वाले शब्द كتب के साथ एक उदाहरण:
- كَتَبَ (kataba), “उसने लिखा”
- كُتُب (kutub), “किताबें”
- كُتِبَ (kutiba), “लिखा गया”
चिह्नों के बिना तीनों एक ही स्ट्रिंग हैं। पाठक वाक्य से मतलब चुनता है। सॉफ़्टवेयर को भी यही करना पड़ता है, और यह काम diacritizer का है। Zerrouki और Balla (2017) ने Tashkeela कॉर्पस बनाया, लगभग 75.6 मिलियन शब्द, ज़्यादातर क्लासिकल अरबी, क्योंकि पूरी हरकात वाला टेक्स्ट दुर्लभ है और diacritizer को ट्रेनिंग के लिए इसकी ज़रूरत होती है। Fadel और साथी (2019) ऐसे न्यूरल diacritization मॉडल बताते हैं जो एक सार्वजनिक बेंचमार्क पर पहले के काम के बराबर या उससे बेहतर हैं, और दिखाते हैं कि डायक्रिटिक्स मशीन ट्रांसलेशन में मदद कर सकते हैं।
लाइब्रेरी इन चिह्नों को एक सेट मानती हैं। CAMeL Tools के AR_DIAC_CHARSET में U+064B से U+0652 और U+0670 (superscript alef) हैं, और उसका dediac_ar फ़ंक्शन इन्हें हटाता है।
यह क्यों मायने रखता है
- सर्च और मिलान। चिह्नों के साथ और बिना टाइप किया गया एक ही शब्द अलग स्ट्रिंग है। अरबी टेक्स्ट नॉर्मलाइज़ेशन के हिस्से के रूप में इन्हें सर्च key से हटाएँ, वरना exact मैच फ़ेल होंगे।
- टोकन। हर चिह्न tokenizer के लिए एक अतिरिक्त कैरेक्टर है। पूरी हरकात वाला टेक्स्ट बिना चिह्न वाले टेक्स्ट से साफ़ तौर पर ज़्यादा टोकन लेता है; मापे गए अनुपात के लिए diacritization गाइड और बेसलाइन के लिए अरबी में प्रति शब्द टोकन देखें।
- स्पीच और मूल्यांकन। ट्रांसक्रिप्ट आम तौर पर बिना चिह्नों के आते हैं। दोनों टेक्स्ट से डायक्रिटिक्स हटाने के बाद word error rate निकालें, वरना एक अतिरिक्त fatha वाला सही शब्द भी ग़लती गिना जाएगा।
- कब ज़रूरत होती है। टेक्स्ट-टू-स्पीच, भाषा सिखाना, क़ुरआनी और काव्य टेक्स्ट, और ऐसे नाम जो स्वरों के बिना अस्पष्ट हों।
BroadNet Inference पर
BroadNet के पास कोई diacritization एंडपॉइंट नहीं है। चैट मॉडल tashkeel को POST /v1/chat/completions के ज़रिए सामान्य टेक्स्ट की तरह लेते हैं, इसलिए आप Qwen3.8 27B जैसे मॉडल से चिह्न लगाने या हटाने को कह सकते हैं। सुरक्षित तरीक़ा है जवाब को कोड में जाँचना: डायक्रिटिक्स हटाएँ और अपने इनपुट से अक्षर-दर-अक्षर मिलाएँ। LLM diacritization पोस्ट में प्रॉम्प्ट और जाँच दोनों हैं।
हटाने के लिए मॉडल का इस्तेमाल बिल्कुल न करें। U+064B से U+0652 पर एक छोटा regex तेज़, मुफ़्त और सटीक है। अरबी टेक्स्ट नॉर्मलाइज़र ब्राउज़र में इसका असर दिखाता है।