अरबी आमतौर पर छोटे स्वरों के बिना लिखी जाती है। पाठक संदर्भ से उन्हें भर लेता है; सॉफ़्टवेयर अक्सर नहीं भर पाता। उन्हें वापस लगाना, जिसे diacritization या तश्कील (tashkeel) कहते हैं, वाक्य के हिसाब से كتب को كَتَبَ (उसने लिखा), كُتُبٌ (किताबें) या كُتِبَ (लिखा गया) में बदलता है। यह पोस्ट दिखाती है कि OpenAI-compatible API के ज़रिए LLM से यह कैसे करें, मॉडल को चुपचाप आपका टेक्स्ट बदलने से कैसे रोकें, और नतीजे को किसी समर्पित diacritizer से कैसे मापें।
हरकतों की ज़रूरत कब पड़ती है?
- Text-to-speech। किसी आवाज़ को शब्द बोलने के लिए स्वर चाहिए। CATT पेपर text-to-speech और machine translation को ऐसे उपयोग बताता है जिन्हें हरकतें बेहतर बनाती हैं। BroadNet Inference में text-to-speech endpoint नहीं है, इसलिए TTS पाइपलाइन में हरकतों वाला टेक्स्ट किसी अलग TTS सेवा को जाता है।
- सीखने वाले और बच्चों की सामग्री। जो पाठक अभी सीख रहे हैं, वे इन निशानों पर निर्भर रहते हैं।
- अस्पष्ट नाम और शब्द। व्यक्तिवाचक नाम, कम इस्तेमाल होने वाले शब्द और तकनीकी शब्द, जहाँ एक ग़लत स्वर अर्थ बदल देता है।
- धार्मिक और शास्त्रीय टेक्स्ट। यहाँ निशान टेक्स्ट का हिस्सा हैं, और कोई ऑटोमैटिक टूल सिर्फ़ इंसानी समीक्षा के साथ ख़ाली जगहें भरे।
सर्च या retrieval के लिए आमतौर पर हरकतें नहीं चाहिए। वहाँ आप उन्हें हटाते हैं, जैसा सर्च के लिए अरबी टेक्स्ट normalization में बताया है। मुफ़्त अरबी टेक्स्ट normalizer यह हटाने का काम ब्राउज़र में ही करता है। हरकतें लगाना इसका उल्टा काम है, और कहीं ज़्यादा मुश्किल: निशान हटाना एक lookup है, जबकि लगाने के लिए व्याकरण और संदर्भ चाहिए।
LLM हरकतें लगाने में कितने अच्छे हैं?
दो प्रकाशित आँकड़े, सावधानी से पढ़ें:
| सिस्टम | CATT benchmark, DER case endings के साथ | DER बिना | WER case endings के साथ | WER बिना |
|---|---|---|---|---|
| CATT encoder-decoder | 8.624% | 6.989% | 34.191% | 28.477% |
| CATT encoder-only | 8.762% | 7.088% | 35.508% | 29.714% |
| GPT-4 (पेपर के टेक्स्ट के अनुसार GPT-4-turbo) | 9.515% | 8.113% | 38.311% | 33.505% |
| Command R+ | 13.169% | 11.329% | 48.518% | 44.158% |
| Shakkala | 13.494% | 10.386% | 50.387% | 40.643% |
| Mishkal | 16.482% | 10.796% | 60.844% | 40.215% |
स्रोत: CATT पेपर (2024) की तालिका 4। कम बेहतर है। Benchmark में 2023 में scrape किए गए 742 समाचार वाक्य हैं, जिन पर दो मातृभाषी विशेषज्ञों ने हरकतें लगाईं और तीसरे ने जाँचा।
पेपर के दूसरे test set, WikiNews (400 वाक्य), पर GPT-4 बाक़ी सबसे कहीं बेहतर रहा: 0.551% DER। लेखक उस पंक्ति को चिह्नित करते हैं और कहते हैं कि शायद मॉडल ने training में WikiNews देखा हो। LLM benchmarks के लिए यही आम चेतावनी है: सार्वजनिक test टेक्स्ट training डेटा में हो सकता है। CATT के लेखक Tashkeela के बारे में भी यही चिंता उठाते हैं, जिसकी किताबों में क़ुरआन और हदीस के बहुत से उद्धरण हैं।
Skiredj और Berrada का 2024 का एक अलग पेपर Fadel et al. benchmark पर GPT-4 का लगभग 20% DER और 30% WER बताता है, लेकिन उतने ब्योरे के बिना जितना ऊपर की तालिका से तुलना के लिए चाहिए।
यानी GPT-4 स्तर के मॉडल किसी समर्पित diacritizer के क़रीब आ सकते हैं, और उससे पीछे भी रह सकते हैं। दोनों पेपर उन open मॉडलों से पहले के हैं जिन्हें आप आज कॉल कर सकते हैं। अपने टेक्स्ट पर मापें।
कौन-से test sets मौजूद हैं?
| डेटासेट | यह क्या है |
|---|---|
| Tashkeela | 97 किताबों से 75,629,921 पूरी हरकतों वाले शब्द; 98.85% Shamela लाइब्रेरी की शास्त्रीय अरबी, 1.15% आधुनिक मानक अरबी |
| Fadel et al. benchmark | Tashkeela से निकाले लगभग 2.3M शब्द; 50,000 training, 2,500 validation और 2,500 test लाइनें |
| CATT benchmark | हाथ से हरकतें लगाए 742 समाचार वाक्य, CATT मॉडलों के साथ जारी |
| WikiNews | हाथ से हरकतें लगाए 400 MSA समाचार वाक्य |
Tashkeela और Fadel set ज़्यादातर शास्त्रीय हैं। अगर आपका टेक्स्ट आधुनिक कारोबारी या समाचार अरबी है, तो CATT और WikiNews sets ज़्यादा क़रीब हैं, और आपके अपने टेक्स्ट का सैंपल सबसे क़रीब।
कौन-सा प्रॉम्प्ट अक्षरों को सुरक्षित रखता है?
मॉडल का काम निशान जोड़ना है और कुछ नहीं छूना। LLM मदद करना पसंद करते हैं: वे الى को إلى कर देंगे, आख़िरी ى को ي बना देंगे या ग़ायब hamza जोड़ देंगे। हर बदलाव सही अरबी हो सकता है, पर यह वर्तनी सुधार है, हरकतें लगाना नहीं। यह बिना बताए आपका टेक्स्ट बदल देता है।
इसलिए प्रॉम्प्ट नियम बताता है, और कोड उसे लागू करता है: जवाब से हरकतें हटाएँ और हरकतें हटाए इनपुट से मिलाएँ। अगर एक भी अक्षर, स्पेस या विराम चिह्न अलग है, तो जवाब रद्द।
import difflib, os, re, unicodedata
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MARKS = re.compile("[ً-ْٰ]") # tanween, harakat, shadda, sukun, dagger alef
SYSTEM = """Add full Arabic diacritics (tashkeel) to the user's text, including case endings.
Reply with the diacritized text only. Do not add, remove, reorder or replace any letter,
space, digit or punctuation mark. Do not fix spelling. Keep any diacritics already present."""
def skeleton(s: str) -> str:
"""The text with every diacritic removed: what the model is not allowed to change."""
return MARKS.sub("", unicodedata.normalize("NFC", s))
def diacritize(text: str, model: str = "broadnet/qwen3.8-27b", tries: int = 2) -> str | None:
for attempt in range(tries):
r = client.chat.completions.create(
model=model, max_tokens=4000, temperature=0,
messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
out = unicodedata.normalize("NFC", (r.choices[0].message.content or "").strip())
if skeleton(out) == skeleton(text):
return out
diff = [d for d in difflib.ndiff(skeleton(text).split(), skeleton(out).split()) if d[0] in "+-"]
print(f"attempt {attempt + 1}: letters changed {diff}")
return None # keep the undiacritized text; never ship a changed sentence
for line in ["ذهب الطالب الى المدرسة", "قرأ محمد الكتاب"]:
print(diacritize(line))
हमने इसे live API पर नहीं, एक लोकल mock सर्वर पर चलाया। पहले वाक्य के लिए उसके पहले से तय जवाब ने दोनों प्रयासों में الى को إلى में “सुधार” दिया, और दूसरे वाक्य का जवाब साफ़ था। आउटपुट यह था:
attempt 1: letters changed ['- الى', '+ إلى']
attempt 2: letters changed ['- الى', '+ إلى']
None
قَرَأَ مُحَمَّدٌ الْكِتَابَ
कोड पर नोट्स:
- पहले Unicode NFC। hamza एक precomposed अक्षर (أ) के रूप में आ सकता है या एक अक्षर और combining mark के रूप में। NFC तुलना से पहले दोनों तरफ़ को एक जैसा बनाता है। normalization वाली पोस्ट इस जाल को विस्तार से समझाती है।
max_tokens=4000। BroadNet के docs कहते हैं कि DeepSeek V4.1 Flash, GLM 5.3 और Qwen3.8 27B जवाब से पहले reasoning करते हैं, और reasoningmax_tokensमें गिनी जाती है। बहुत छोटी सीमा ख़ाली जवाब लौटाती है, जिसे जाँच रद्द कर देती है। जगह छोड़ें, याreasoning_effortको low करें; देखें reasoning मॉडलों से ख़ाली जवाब और reasoning टोकन बजट कैलकुलेटर।- जाँच “मौजूदा हरकतें बनाए रखें” को टेस्ट नहीं करती। अगर आपके इनपुट में कुछ हरकतें पहले से हैं, तो उन निशानों की भी तुलना करें।
- वर्तनी एक अलग फ़ैसला है। अगर आप الى को सुधरवाना चाहते हैं, तो पहले सुधार का चरण चलाएँ, फिर सुधरे टेक्स्ट पर हरकतें लगाएँ। दोनों को मिलाने से किसी की भी जाँच मुमकिन नहीं रहती।
- लंबे टेक्स्ट को टुकड़ों में बाँटें। हर अनुरोध में एक वाक्य या एक पैराग्राफ़ भेजें। CATT ख़ुद इनपुट को 1,024 अक्षरों तक सीमित रखता है और लंबे वाक्यों को विराम चिह्नों पर बाँटता है; यही आदत LLM के जवाब छोटे और दोबारा कोशिशें सस्ती रखती है।
अरबी प्रॉम्प्ट लिखने की आम सलाह के लिए, जिसमें यह भी है कि मॉडल को कब हरकतें न लगाने को कहें, देखें अरबी प्रॉम्प्ट इंजीनियरिंग।
हरकतों को कैसे स्कोर करें: DER और WER?
Diacritic error rate (DER) उन अक्षरों का हिस्सा है जिनकी हरकतें reference से अलग हैं। Word error rate (WER) यहाँ उन शब्दों का हिस्सा है जिनमें कम से कम एक हरकत ग़लत है। यह हमारी ASR पोस्ट वाला speech-recognition WER नहीं है; यह ग़लत निशान वाले शब्द गिनता है, जोड़े या छूटे शब्द नहीं।
दो सेटिंग्स आँकड़ों को बहुत बदल देती हैं:
- Case endings के साथ या बिना। शब्द का आख़िरी अक्षर उसका व्याकरणिक case (इराब) रखता है, जो वाक्य-रचना पर निर्भर है। पेपर दोनों सेटिंग्स बताते हैं, क्योंकि बहुत-सी ग़लतियाँ case endings से आती हैं।
- बिना हरकत वाले अक्षरों को गिनना। कुछ scripts बिना निशान वाले अक्षर (जैसे الطالب में alef) को सही “कोई हरकत नहीं” prediction मानकर गिनती हैं; कुछ उसे छोड़ देती हैं। Fadel की scoring script में इसके लिए एक flag है।
प्रकाशित scripts इन फ़ैसलों में अलग हैं, इसलिए सिर्फ़ एक ही script से बने आँकड़ों की तुलना करें। यह script इतनी छोटी है कि पढ़ी जा सके:
import re, unicodedata
MARK = re.compile("[ً-ْٰ]")
LETTER = re.compile("[ء-غف-ي]")
def letters(word: str) -> list[tuple[str, str]]:
"""(letter, its diacritics in a fixed order) for each Arabic letter in a word."""
out = []
for ch in unicodedata.normalize("NFC", word):
if LETTER.match(ch):
out.append([ch, ""])
elif MARK.match(ch) and out:
out[-1][1] += ch
return [(c, "".join(sorted(d))) for c, d in out]
def der_wer(gold: list[str], pred: list[str], case_ending=True, count_bare=True) -> dict:
"""DER: share of scored letters with the wrong diacritics. WER: share of words with any such letter.
case_ending=False skips each word's last letter. count_bare=False skips letters with no gold diacritic."""
errs = total = werr = words = 0
for g_line, p_line in zip(gold, pred):
for g, p in zip(g_line.split(), p_line.split()):
G, P = letters(g), letters(p)
if [c for c, _ in G] != [c for c, _ in P]:
raise ValueError(f"letters differ: {g} / {p}") # score only same-skeleton output
scored = [(gd, pd) for i, ((_, gd), (_, pd)) in enumerate(zip(G, P))
if (case_ending or i < len(G) - 1) and (count_bare or gd)]
if not scored:
continue
bad = sum(gd != pd for gd, pd in scored)
errs += bad; total += len(scored); werr += bad > 0; words += 1
return {"DER": round(100 * errs / total, 2), "WER": round(100 * werr / words, 2)}
gold = ["ذَهَبَ الطَّالِبُ إِلَى المَدْرَسَةِ", "قَرَأَ مُحَمَّدٌ الكِتَابَ"]
pred = ["ذَهَبَ الطَّالِبَ إِلَى المَدْرِسَةِ", "قَرَأَ مُحَمَّدٌ الكِتَابُ"]
for ce in (True, False):
print("with case endings" if ce else "without case endings", der_wer(gold, pred, case_ending=ce))
इस नमूना prediction में 32 अक्षरों और 7 शब्दों में दो ग़लत case endings और एक ग़लत अंदरूनी स्वर है। यह case endings के साथ DER 9.38 और WER 42.86 छापता है, और बिना case endings के DER 4.0 और WER 14.29। देखिए WER कुछ ग़लतियों को कैसे बड़ा करता है: एक ग़लत निशान पूरा शब्द ख़राब कर देता है।
Script उस शब्द को स्कोर करने से मना करती है जिसके अक्षर बदल गए हों। यह जान-बूझकर है। जो diacritizer अक्षर बदलता है, वह काम में फ़ेल हो चुका है, और उसका DER बेमानी होगा।
दूसरी जाँच के तौर पर हमने rule-based diacritizer Mishkal 0.4.1 को 16 शब्दों के एक वाक्य पर चलाया, जिस पर हमने हाथ से हरकतें लगाई थीं। उसकी चारों ग़लतियाँ case endings की थीं, जैसे مُحَمَّدٌ की जगह مُحَمَّدُ। उसका DER case endings के साथ 5.88 और बिना 0.0 रहा। एक वाक्य Mishkal के बारे में कुछ साबित नहीं करता; यह दिखाता है कि दोनों सेटिंग्स क्यों बतानी चाहिए।
Test set बनाने के लिए अपने टेक्स्ट के 100 से 200 वाक्य लें, किसी मातृभाषी से उन पर हरकतें लगवाएँ, निशान हटाएँ, और हर उम्मीदवार को चलाएँ। इंसानी वर्ज़न को gold के रूप में रखें।
समर्पित diacritizer कब LLM से बेहतर है?
| चुनें | कब |
|---|---|
| समर्पित मॉडल (CATT, libtashkeel, Mishkal) | ज़्यादा वॉल्यूम, तय तरह का टेक्स्ट, सख़्त latency, ऑफ़लाइन या on-device इस्तेमाल, या ऐसी ज़रूरत कि आउटपुट अपनी बनावट से अक्षर-दर-अक्षर वही रहे |
| API के ज़रिए LLM | कम या असमान वॉल्यूम, मिला-जुला या गंदा इनपुट, बिना ML ops वाली टीम, या ऐसी पाइपलाइन जो दूसरे चरणों के लिए पहले से LLM कॉल करती है |
समर्पित मॉडल हर अक्षर के लिए एक निशान predict करते हैं, इसलिए वे आपका टेक्स्ट दोबारा नहीं लिख सकते। CATT Apache 2.0 है और pip install catt-tashkeel से इंस्टॉल होता है; उसका README रफ़्तार के लिए encoder-only मॉडल और सटीकता के लिए encoder-decoder की सलाह देता है। libtashkeel MIT है और मुख्य रूप से MSA पर trained है। Mishkal rule-based और GPL है, जो मायने रखता है अगर आप उसे किसी प्रोडक्ट के अंदर ship करते हैं।
LLM से शुरुआत तेज़ होती है और वह ऐसा इनपुट संभाल लेता है जो किसी trained मॉडल ने कभी नहीं देखा: बोली, मिली-जुली अरबी और अंग्रेज़ी, अजीब विराम चिह्न। उसे हर जवाब पर ऊपर वाली skeleton जाँच चाहिए, और उसकी लागत प्रति टोकन है।
LLM से हरकतें लगाने की लागत क्या है?
हरकतें अतिरिक्त अक्षर हैं, और tokenizers उन्हें अतिरिक्त टोकन में बाँटते हैं। हमने 2,500 लाइनों वाले Fadel test set (125,098 शब्द) को हर मॉडल के अपने tokenizer से गिना, बिना हरकत वाला टेक्स्ट बनाम पूरी हरकतों वाला टेक्स्ट:
| Tokenizer | बिना हरकत टेक्स्ट | हरकतों के साथ | अनुपात |
|---|---|---|---|
| Qwen3.8 27B | 196,987 | 407,144 | 2.07× |
| DeepSeek V4.1 Flash | 222,555 | 540,454 | 2.43× |
| Gemma 4 VL 26B | 208,769 | 508,758 | 2.44× |
| GLM 5.3 | 239,753 | 770,361 | 3.21× |
आप बिना हरकत वाले टेक्स्ट के लिए इनपुट टोकन और हरकतों वाले जवाब के लिए आउटपुट टोकन चुकाते हैं, साथ में reasoning भी। आउटपुट महँगा हिस्सा है: BroadNet के pricing पेज के अनुसार प्रति मिलियन टोकन Qwen3.8 27B पर $2.17, DeepSeek V4.1 Flash पर $0.52, GLM 5.3 पर $3.46 और Gemma 4 VL 26B पर $0.22। जाँच फ़ेल होने के बाद की दोबारा कोशिशें और जोड़ती हैं। अपने डेटा पर अनुपात देखने के लिए अपना टेक्स्ट अरबी टोकन काउंटर में पेस्ट करें, और अरबी शुरू से ही ज़्यादा टोकन क्यों लेती है, यह अरबी और अंग्रेज़ी में प्रति शब्द टोकन में देखें।
किसी बड़े archive पर एक बार के काम के लिए, DeepSeek V4.1 Flash प्लान मीटर की जगह प्रति सेशन फ़्लैट कीमत रखते हैं ($15 प्रति हफ़्ता या $1 प्रति घंटा); हर सेशन एक समय में एक अनुरोध चलाता है, इसलिए रन की योजना वैसे बनाएँ जैसे batch API के बिना batch processing में बताया है।
BroadNet Inference कहाँ फ़िट होता है
BroadRouter, BroadNet की अपनी साइट है। BroadNet Inference ऊपर के चारों चैट मॉडल एक OpenAI-compatible endpoint से देता है, इसलिए base URL और key सेट करने के बाद कोड OpenAI Python SDK के साथ चलता है। Gemma 4 VL 26B $5 के शुरुआती क्रेडिट पर चलता है; DeepSeek, GLM और Qwen के लिए टॉप-अप चाहिए। BroadNet के पास हरकतें लगाने का कोई endpoint नहीं है, वह हरकतों का अपना कोई benchmark प्रकाशित नहीं करता और उसके पास text-to-speech नहीं है। उसके कौन-से मॉडल आपके टेक्स्ट पर सबसे अच्छी हरकतें लगाते हैं, यह मापा नहीं गया है: चुनने से पहले उन्हें अपने सैंपल पर स्कोर करें। अनुरोध के ब्योरे के लिए API रेफ़रंस देखें।
