BroadRouter

अरबी डायक्रिटिक्स (tashkeel)

अपडेट किया गया

अरबी डायक्रिटिक्स, या tashkeel, अक्षरों के ऊपर या नीचे लगने वाले छोटे चिह्न हैं जो छोटे स्वर, दोहरे व्यंजन और स्वर के न होने को दिखाते हैं। ये वैकल्पिक हैं: ख़बरों समेत ज़्यादातर अरबी टेक्स्ट इन्हें छोड़ देता है, इसलिए पाठक और सॉफ़्टवेयर संदर्भ से स्वर का अंदाज़ा लगाते हैं।

अन्य नाम: अरबी डायक्रिटिक्स, तशकील, हरकात, अरबी मात्राएँ, arabic diacritics kya hai, tashkeel kya hai, tashkeel, tashkil, harakat, diacritization, Arabic diacritization, diacritics, vowel marks

वही तीन अरबी अक्षर “उसने लिखा”, “किताबें” या “लिखा गया” का मतलब दे सकते हैं। इनमें फ़र्क़ डायक्रिटिक्स से होता है, और ज़्यादातर टेक्स्ट इन्हें लिखता ही नहीं।

यह कैसे काम करता है

Unicode Standard इन चिह्नों को tashkil कहता है और लिखता है कि ये “may be written as combining marks” (अनुवाद: combining marks के रूप में लिखे जा सकते हैं), फिर जोड़ता है: “In normal writing, however, these marks are omitted.” (अनुवाद: लेकिन सामान्य लेखन में ये चिह्न छोड़ दिए जाते हैं।) हरकात छोटे स्वरों वाले उपसमूह का नाम है। हर चिह्न अपना अलग combining कैरेक्टर है, जो उस अक्षर के बाद आता है जिस पर वह लगता है। मुख्य चिह्न U+064B से U+0652 की रेंज में हैं:

कोड पॉइंट नाम काम
U+064E FATHA छोटा a
U+064F DAMMA छोटा u
U+0650 KASRA छोटा i
U+064B से U+064D FATHATAN, DAMMATAN, KASRATAN तनवीन (-an, -un, -in अंत)
U+0651 SHADDA दोहरा व्यंजन
U+0652 SUKUN कोई स्वर नहीं

बिना चिह्न वाले शब्द كتب के साथ एक उदाहरण:

  • كَتَبَ (kataba), “उसने लिखा”
  • كُتُب (kutub), “किताबें”
  • كُتِبَ (kutiba), “लिखा गया”

चिह्नों के बिना तीनों एक ही स्ट्रिंग हैं। पाठक वाक्य से मतलब चुनता है। सॉफ़्टवेयर को भी यही करना पड़ता है, और यह काम diacritizer का है। Zerrouki और Balla (2017) ने Tashkeela कॉर्पस बनाया, लगभग 75.6 मिलियन शब्द, ज़्यादातर क्लासिकल अरबी, क्योंकि पूरी हरकात वाला टेक्स्ट दुर्लभ है और diacritizer को ट्रेनिंग के लिए इसकी ज़रूरत होती है। Fadel और साथी (2019) ऐसे न्यूरल diacritization मॉडल बताते हैं जो एक सार्वजनिक बेंचमार्क पर पहले के काम के बराबर या उससे बेहतर हैं, और दिखाते हैं कि डायक्रिटिक्स मशीन ट्रांसलेशन में मदद कर सकते हैं।

लाइब्रेरी इन चिह्नों को एक सेट मानती हैं। CAMeL Tools के AR_DIAC_CHARSET में U+064B से U+0652 और U+0670 (superscript alef) हैं, और उसका dediac_ar फ़ंक्शन इन्हें हटाता है।

यह क्यों मायने रखता है

  • सर्च और मिलान। चिह्नों के साथ और बिना टाइप किया गया एक ही शब्द अलग स्ट्रिंग है। अरबी टेक्स्ट नॉर्मलाइज़ेशन के हिस्से के रूप में इन्हें सर्च key से हटाएँ, वरना exact मैच फ़ेल होंगे।
  • टोकन। हर चिह्न tokenizer के लिए एक अतिरिक्त कैरेक्टर है। पूरी हरकात वाला टेक्स्ट बिना चिह्न वाले टेक्स्ट से साफ़ तौर पर ज़्यादा टोकन लेता है; मापे गए अनुपात के लिए diacritization गाइड और बेसलाइन के लिए अरबी में प्रति शब्द टोकन देखें।
  • स्पीच और मूल्यांकन। ट्रांसक्रिप्ट आम तौर पर बिना चिह्नों के आते हैं। दोनों टेक्स्ट से डायक्रिटिक्स हटाने के बाद word error rate निकालें, वरना एक अतिरिक्त fatha वाला सही शब्द भी ग़लती गिना जाएगा।
  • कब ज़रूरत होती है। टेक्स्ट-टू-स्पीच, भाषा सिखाना, क़ुरआनी और काव्य टेक्स्ट, और ऐसे नाम जो स्वरों के बिना अस्पष्ट हों।

BroadNet Inference पर

BroadNet के पास कोई diacritization एंडपॉइंट नहीं है। चैट मॉडल tashkeel को POST /v1/chat/completions के ज़रिए सामान्य टेक्स्ट की तरह लेते हैं, इसलिए आप Qwen3.8 27B जैसे मॉडल से चिह्न लगाने या हटाने को कह सकते हैं। सुरक्षित तरीक़ा है जवाब को कोड में जाँचना: डायक्रिटिक्स हटाएँ और अपने इनपुट से अक्षर-दर-अक्षर मिलाएँ। LLM diacritization पोस्ट में प्रॉम्प्ट और जाँच दोनों हैं।

हटाने के लिए मॉडल का इस्तेमाल बिल्कुल न करें। U+064B से U+0652 पर एक छोटा regex तेज़, मुफ़्त और सटीक है। अरबी टेक्स्ट नॉर्मलाइज़र ब्राउज़र में इसका असर दिखाता है।

अक्सर पूछे जाने वाले सवाल

क्या अरबी टेक्स्ट को इंडेक्स करने से पहले डायक्रिटिक्स हटा देने चाहिए?

कीवर्ड सर्च के लिए आम तौर पर हाँ, लेकिन सिर्फ़ सर्च key से। Tashkeela के लेखक बताते हैं कि ज़्यादातर सर्च इंजन डायक्रिटिक्स को नज़रअंदाज़ करते हैं। दिखाने के लिए और LLM के लिए मूल टेक्स्ट रखें।

डायक्रिटिक्स वाले अरबी टेक्स्ट पर ज़्यादा टोकन क्यों लगते हैं?

हर चिह्न एक अलग Unicode कैरेक्टर है, इसलिए पूरी हरकात वाले शब्द में tokenizer को बाँटने के लिए ज़्यादा कैरेक्टर मिलते हैं। tashkeel जोड़ने से पहले और बाद अपने टेक्स्ट को किसी टोकन काउंटर से गिनें।

क्या LLM भरोसे से डायक्रिटिक्स लगा सकता है?

लगा तो सकता है, पर अक्षर भी बदल सकता है। जवाब से चिह्न हटाकर उसे इनपुट से मिलाएँ; जिस जवाब में कोई अक्षर बदला हो, उसे ख़ारिज करें।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें