---
title: "अरबी टेक्स्ट नॉर्मलाइज़ेशन क्या है? सर्च और RAG के नियम"
description: "अरबी टेक्स्ट नॉर्मलाइज़ेशन alef के रूप, tatweel और डायक्रिटिक्स जैसे वर्तनी-भेद एक रूप में लाता है, ताकि सर्च, RAG और WER मेल खाएँ। नियम और ट्रेड-ऑफ़।"
url: https://broadrouter.com/hi/glossary/arabic-text-normalization/
lang: hi
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

यह पेज अंग्रेज़ी से AI की मदद से अनुवाद किया गया है। [अंग्रेज़ी मूल पढ़ें](https://broadrouter.com/glossary/arabic-text-normalization/) (2026-11-15 को अपडेट किया गया).

# अरबी टेक्स्ट नॉर्मलाइज़ेशन (Arabic text normalization)

अपडेट किया गया 2026-11-15

अरबी टेक्स्ट नॉर्मलाइज़ेशन वह चरण है जो मिलान से पहले एक ही शब्द की अलग-अलग वर्तनियों को एक रूप में बदलता है: डायक्रिटिक्स और tatweel हटाना, alef के रूप एक करना, और अक्सर ى को ي और ة को ه करना। यह सर्च key और मूल्यांकन पर लगता है, दिखाए जाने वाले टेक्स्ट पर नहीं।

अन्य नाम: अरबी नॉर्मलाइज़ेशन, अरबी टेक्स्ट नॉर्मलाइज़ेशन, alef नॉर्मलाइज़ेशन, arabic normalization kya hai, Arabic normalization, alef normalization, orthographic normalization, tatweel, kashida, alef variants

अरबी यूज़र एक ही शब्द कई तरह से टाइप करते हैं। नॉर्मलाइज़ेशन इन वर्तनियों को आपस में मिलाता है।

## यह कैसे काम करता है

नॉर्मलाइज़ेशन कैरेक्टर बदलने के नियमों का एक सेट है, जो स्टोर किए गए टेक्स्ट और क्वेरी दोनों पर लगता है। Apache Lucene का ArabicNormalizer, जो कई सर्च इंजनों में इस्तेमाल होता है, पाँच नियम गिनाता है:

1.  alef आसन वाले hamza को सादा alef करना;
2.  teh marbuta (ة) को heh (ه) करना;
3.  बिना बिंदु वाले yeh, यानी alef maksura (ى), को yeh (ي) करना;
4.  हरकात ([डायक्रिटिक्स](https://broadrouter.com/hi/glossary/arabic-diacritics/)) हटाना;
5.  tatweel, यानी “stretching character”, हटाना।

CAMeL Tools यही विचार अलग-अलग फ़ंक्शन के रूप में देता है। उसका `normalize_alef_ar` إ أ ٱ آ (U+0625, U+0623, U+0671, U+0622) को ا में बदलता है, `normalize_alef_maksura_ar` ى को ي में, और `normalize_teh_marbuta_ar` ة को ه में। `normalize_unicode` डिफ़ॉल्ट रूप से NFKC चलाता है, जो [Unicode नॉर्मलाइज़ेशन](https://broadrouter.com/hi/glossary/unicode-normalization/) है और सबसे पहले आना चाहिए।

Tatweel (U+0640, जिसे kashida भी कहते हैं) एक जोड़ने वाला कैरेक्टर है जिसे Unicode Standard justification के लिए बताता है: कैरेक्टर के बीच इसे डालने से लाइन खिंचती है। इसका कोई अर्थ नहीं, इसलिए كتـــاب और كتاب मेल खाने चाहिए।

एक उदाहरण:

| इनपुट | नॉर्मलाइज़ेशन के बाद | लगे नियम |
| --- | --- | --- |
| إِسْلامٌ | اسلام | डायक्रिटिक्स, alef |
| مدرسة | مدرسه | teh marbuta |
| مستشفى | مستشفي | alef maksura |
| كتـــاب | كتاب | tatweel |

## यह क्यों मायने रखता है

Larkey, Ballesteros और Connell (2002) ने TREC-2001 के अरबी न्यूज़वायर कलेक्शन को नॉर्मलाइज़ किया: विराम चिह्न, डायक्रिटिक्स और गैर-अक्षर हटाए और कई अक्षर-रूपों को एक रूप में बदला। सिर्फ़ नॉर्मलाइज़ेशन से monolingual average precision .194 से बढ़कर .238 हो गई। इसके ऊपर उनके light8 stemmer से यह .376 तक पहुँची।

यही बात इन पर भी लागू होती है:

-   **[RAG](https://broadrouter.com/hi/glossary/rag/) और कीवर्ड सर्च।** बिना hamza के टाइप की गई क्वेरी को hamza के साथ लिखा दस्तावेज़ मिलना चाहिए। [अरबी RAG सर्च](https://broadrouter.com/hi/blog/arabic-rag-search/) देखें।
-   **[Word error rate](https://broadrouter.com/hi/glossary/word-error-rate/)।** अरबी ASR स्कोर इस पर निर्भर हैं कि रेफ़रंस और ट्रांसक्रिप्ट एक ही तरह नॉर्मलाइज़ हुए या नहीं। [अरबी WER व्याख्या](https://broadrouter.com/hi/blog/arabic-asr-wer-explained/) इसका असर दिखाती है।
-   **डुप्लिकेट हटाना और एनालिटिक्स।** बिना नॉर्मलाइज़ेशन के शब्द या यूज़र के टर्म गिनने पर एक शब्द कई में बँट जाता है।

क़ीमत है शब्दों का आपस में मिल जाना। alef एक करने से अलग-अलग particles إن और أن एक ही स्ट्रिंग बन जाते हैं, और ة से ه वाला नियम كرة (गेंद) को كره (नफ़रत) से मिला देता है। [hamza](https://broadrouter.com/hi/glossary/hamza/) और [taa marbuta](https://broadrouter.com/hi/glossary/taa-marbuta/) के नियमों को समायोज्य मानें।

## BroadNet Inference पर

नॉर्मलाइज़ेशन आपके कोड में चलता है, API पर नहीं। BroadNet के चैट और ट्रांसक्रिप्शन एंडपॉइंट आपका टेक्स्ट या ऑडियो जैसा है वैसा लेते हैं। दो कॉपी रखें: मॉडल और यूज़र के लिए मूल, और मिलान के लिए नॉर्मलाइज़्ड key।

मुफ़्त [अरबी टेक्स्ट नॉर्मलाइज़र](https://broadrouter.com/tools/arabic-text-normalizer/) ये नियम ब्राउज़र में लगाता है, ताकि आप देख सकें कि हर नियम क्या बदलता है। [नॉर्मलाइज़ेशन गाइड](https://broadrouter.com/hi/blog/arabic-text-normalization-search/) में टेस्ट किया हुआ Python कोड और हर नियम पर चर्चा है।

## आम ग़लतियाँ

-   दस्तावेज़ों को नॉर्मलाइज़ करना पर क्वेरी को नहीं, या इसका उल्टा।
-   यूज़र को नॉर्मलाइज़्ड टेक्स्ट दिखाना या उसका हवाला देना।
-   अलग नियमों वाली लाइब्रेरी मिलाना, जैसे ى के लिए दो अलग मैपिंग।

## अक्सर पूछे जाने वाले सवाल

### क्या नॉर्मलाइज़ेशन embedding सर्च में भी मदद करता है?

पुराने नतीजे कीवर्ड सर्च पर मापे गए थे। embeddings के लिए फ़ैसला करने से पहले अपनी क्वेरी पर नॉर्मलाइज़्ड और कच्चे इनपुट दोनों को टेस्ट करें।

### क्या LLM को भेजने से पहले टेक्स्ट नॉर्मलाइज़ करना चाहिए?

आम तौर पर नहीं। मूल टेक्स्ट भेजें ताकि मॉडल असली वर्तनी, hamza और डायक्रिटिक्स देखे। सिर्फ़ उन कॉपियों को नॉर्मलाइज़ करें जिनसे आप मिलान, इंडेक्स या स्कोर करते हैं।

### क्या सभी लाइब्रेरी एक जैसे नियम लगाती हैं?

नहीं। CAMeL Tools और Lucene दोनों alef maksura को yeh और teh marbuta को heh में बदलते हैं, लेकिन दूसरी लाइब्रेरी अलग हैं। एक नियम-सेट चुनें और दस्तावेज़ों व क्वेरी दोनों पर वही लगाएँ।

## यह भी देखें

-   [अरबी डायक्रिटिक्स (tashkeel)](https://broadrouter.com/hi/glossary/arabic-diacritics/) (शब्द)
-   [हम्ज़ा (hamza)](https://broadrouter.com/hi/glossary/hamza/) (शब्द)
-   [ता मरबूता (taa marbuta, ة)](https://broadrouter.com/hi/glossary/taa-marbuta/) (शब्द)
-   [Unicode नॉर्मलाइज़ेशन (Unicode normalization)](https://broadrouter.com/hi/glossary/unicode-normalization/) (शब्द)
-   [RAG (retrieval-augmented generation)](https://broadrouter.com/hi/glossary/rag/) (शब्द)
-   [वर्ड एरर रेट (WER)](https://broadrouter.com/hi/glossary/word-error-rate/) (शब्द)
-   [सर्च और RAG के लिए अरबी टेक्स्ट normalization: क्या बदलें, क्या नहीं](https://broadrouter.com/hi/blog/arabic-text-normalization-search/) (लेख)
-   [अरबी RAG: normalisation, chunking और retrieval जो सच में काम करे](https://broadrouter.com/hi/blog/arabic-rag-search/) (लेख)
-   [अरबी ASR में word error rate (WER) क्या है, आसान भाषा में](https://broadrouter.com/hi/blog/arabic-asr-wer-explained/) (लेख)

इसे अपने असली वर्कलोड पर आज़माएँ। नए अकाउंट Gemma और ट्रांसक्रिप्शन के लिए US$5 के क्रेडिट से शुरू होते हैं। DeepSeek, GLM, और Qwen3.8 के लिए टॉप-अप ज़रूरी है।

[शुरू करें](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-glossary-arabic-text-normalization&utm_content=page-cta) ·

**स्रोत**

-   [CAMeL Tools डॉक्स, camel\_tools.utils.normalize (जाँच: 2026-11-15)](https://camel-tools.readthedocs.io/en/latest/api/utils/normalize.html)
-   [CAMeL Tools सोर्स कोड, normalize.py (alef, alef maksura, teh marbuta नियम) (जाँच: 2026-11-15)](https://raw.githubusercontent.com/CAMeL-Lab/camel_tools/master/camel_tools/utils/normalize.py)
-   [Apache Lucene 9.0 API, ArabicNormalizer (जाँच: 2026-11-15)](https://lucene.apache.org/core/9_0_0/analysis/common/org/apache/lucene/analysis/ar/ArabicNormalizer.html)
-   [Larkey, Ballesteros और Connell, Improving Stemming for Arabic Information Retrieval (SIGIR 2002) (जाँच: 2026-11-15)](https://ciir-publications.cs.umass.edu/pub/web/getpdf.php?id=249)
-   [The Unicode Standard 18.0, अध्याय 9 Middle East-I, अरबी (tatweel) (जाँच: 2026-11-15)](https://www.unicode.org/versions/Unicode18.0.0/core-spec/chapter-9/)
