BroadRouter

Arabizi और LLM: 3 और 7 जैसे अंकों वाली Franco-Arabic को संभालना

BroadNet Inference टीम · 5 मिनट में पढ़ें · प्रकाशित · अपडेट किया गया

Arabizi, जिसे Franco-Arabic भी कहते हैं, लैटिन अक्षरों में लिखी अरबी है, जिसमें लैटिन में न मिलने वाली ध्वनियों के लिए अंक होते हैं: ع के लिए 3, ح के लिए 7, ء के लिए 2, خ के लिए 5। LLM आमतौर पर इसे समझते हैं लेकिन बदलते असंगत तरीक़े से हैं। इसे पहचानें, बोली का नाम देकर मॉडल से अरबी लिपि में लिप्यंतरण करवाएँ, फिर अरबी टेक्स्ट प्रोसेस करें।

Arabizi, जिसे Franco-Arabic या “Franco” भी कहते हैं, लैटिन अक्षरों में लिखी अरबी है, जिसमें लैटिन में न मिलने वाली ध्वनियों के लिए अंक होते हैं, जैसे ع के लिए 3 और ح के लिए 7। इसे LLM से संभालने के लिए इसे पहचानें, बोली का नाम देकर मॉडल से इसे अरबी लिपि में बदलवाएँ, और अपनी बाक़ी पाइपलाइन अरबी टेक्स्ट पर चलाएँ।

“ana 3ayez a7gez ma3ad bokra” मिस्र में ग्राहक का एक आम मैसेज है: “أنا عايز أحجز ميعاد بكرة” (मैं कल का अपॉइंटमेंट बुक करना चाहता हूँ)। यह बिना अरबी कीबोर्ड वाले फ़ोन और कंप्यूटर पर पनपी और आज भी चैट में दिखती है।

कौन-से अंक किन अरबी अक्षरों के लिए हैं?

कोई मानक नहीं है, लेकिन अंक उन अरबी अक्षरों के लिए इस्तेमाल होते हैं जो उनसे मिलते-जुलते दिखते हैं या जिनका कोई लैटिन बराबर नहीं है। Arabic chat alphabet का अवलोकन आम नियमों की सूची देता है:

अंक अरबी अक्षर उदाहरण अरबी लिपि अर्थ
2 ء (हम्ज़ा) / أ so2al سؤال सवाल
3 ع 3arabi عربي अरबी
3’ या 8 غ 8aly / 3’aly غالي महँगा
5 या kh خ 5alas خلاص हो गया / बस
6 ط 6ayeb طيب ठीक है (खाड़ी)
7 ح 7abibi حبيبي मेरे प्यारे
9 ص 9ba7 صباح सुबह (खाड़ी)
8 ق (कुछ इलाक़ों में) 8alb قلب दिल

इलाक़ाई आदतें अलग हैं। उदाहरण के लिए, अवलोकन नोट करता है कि غ के लिए 8 सिर्फ़ लेबनान में इस्तेमाल होता है, जबकि सऊदी अरब में ق के लिए 8 और 9 आम हैं; मिस्री Arabizi में 2, ق के लिए हो सकता है जहाँ उसे glottal stop की तरह बोला जाता है। स्वर सुनकर लिखे जाते हैं, इसलिए “ma3lesh”, “ma3lsh” और “m3lsh” (معلش, कोई बात नहीं) सब एक ही शब्द हैं।

सॉफ़्टवेयर के लिए Arabizi मुश्किल क्यों है?

  • यह लगभग हमेशा बोली होती है। लोग Arabizi वैसे लिखते हैं जैसे बोलते हैं, इसलिए इसमें बोली की सारी चुनौतियाँ एक साथ होती हैं, और उन्हें थामने के लिए अरबी लिपि नहीं होती।
  • यह अंग्रेज़ी या फ़्रेंच जैसी दिखती है। “bas” अरबी में بس (लेकिन / सिर्फ़) है और अंग्रेज़ी में कुछ नहीं; “men” من (से / कौन) है। keyword detectors और language-ID टूल अक्सर Arabizi को अंग्रेज़ी या किसी दूसरी लैटिन-लिपि भाषा का लेबल देते हैं।
  • कोई मानक वर्तनी नहीं। exact-match सर्च, इरादे के नियम और analytics टूट जाते हैं।
  • Code-switching। “el order bta3i lessa ma waslsh, can u check?” एक वाक्य में मिस्री Arabizi और अंग्रेज़ी मिलाता है।

नियम-आधारित कन्वर्टर संघर्ष करते हैं क्योंकि एक लैटिन स्ट्रिंग कई अरबी वर्तनियों से मेल खा सकती है; Darwish के Arabizi पहचान और conversion काम जैसे रिसर्च सिस्टम ने सही शब्द चुनने के लिए transliteration mining को language modelling के साथ जोड़ा, और 88.7% conversion सटीकता रिपोर्ट की। आधुनिक LLM असल में यह एक ही चरण में करते हैं।

LLM Arabizi को कितनी अच्छी तरह संभालते हैं?

बड़े मॉडल ने वेब और सोशल मीडिया टेक्स्ट में Arabizi देखी है, इसलिए वे अक्सर आम वाक्यांश समझ लेते हैं। नतीजे मॉडल और बोली के हिसाब से बदलते हैं, इसलिए भरोसा करने से पहले टेस्ट करें। आम चूकें:

  1. इसे अंग्रेज़ी मानना और ग़लत पढ़े मैसेज का जवाब देना।
  2. ग़लत बोली में बदलना, जैसे मिस्री को ऐसे MSA शब्दों में “बदलना” जो लहजा बदल दें, या उपयोगकर्ता लेबनानी हो तब खाड़ी का अंदाज़ा लगाना।
  3. आउटपुट की लिपि असंगत होना, एक मैसेज का जवाब Arabizi में और अगले का अरबी लिपि में।
  4. नामों और जगहों पर गढ़ी हुई सटीकता, जहाँ लैटिन वर्तनी अस्पष्ट है।

इलाज वही है जो आमतौर पर बोलियों के लिए: मॉडल को बताएँ कि क्या उम्मीद रखे और क्या बनाए।

LLM से Arabizi को अरबी लिपि में कैसे बदलें?

पहले Arabizi को अरबी लिपि में बदलें, फिर अपनी बाक़ी पाइपलाइन (सर्च, routing, जवाब) अरबी टेक्स्ट पर चलाएँ। इससे कोड का एक ही रास्ता रहता है और सर्च और analytics काम करते हैं।

import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

NORMALISE = """You receive a customer message that may be in Arabic script, English,
or Arabizi (Arabic written in Latin letters and digits, e.g. 3=ع, 7=ح, 2=ء, 5=خ).
Customers are mostly Egyptian. Return JSON only:
{"script": "arabic" | "arabizi" | "latin_english" | "mixed",
 "dialect": "egyptian" | "gulf" | "levantine" | "msa" | "other" | null,
 "arabic_text": "<the message in Arabic script, keeping the dialect words; keep English words in Latin letters>",
 "english_gloss": "<short English meaning>"}"""

def normalise(message: str) -> dict:
    r = client.chat.completions.create(
        model="broadnet/qwen3.8-27b",
        max_tokens=1500,  # the model reasons first; leave room for the JSON
        messages=[{"role": "system", "content": NORMALISE},
                  {"role": "user", "content": message}],
    )
    text = r.choices[0].message.content.strip()
    text = text.removeprefix("```json").removeprefix("```").removesuffix("```")
    return json.loads(text)  # validate the fields before you trust them

print(normalise("el order bta3i lessa ma waslsh, can u check?"))

अच्छा नतीजा:

{"script": "mixed", "dialect": "egyptian",
 "arabic_text": "الأوردر بتاعي لسه ما وصلش، can u check?",
 "english_gloss": "My order still hasn't arrived, can you check?"}

इस डिज़ाइन पर टिप्पणियाँ:

  • बोली के शब्द बनाए रखें। “the message in Arabic script, keeping the dialect words” (अनुवाद: मैसेज अरबी लिपि में, बोली के शब्द बनाए रखते हुए) माँगने से उसे चुपचाप MSA में दोबारा लिखे जाने से बचाया जाता है, जिससे routing और sentiment के लिए अर्थ खो जाता।
  • मूल रखें। audit और नियमों को दोबारा ट्रेन करने के लिए कच्चा मैसेज conversion के साथ सहेजें।
  • सस्ता pre-filter इस्तेमाल करें। एक सरल जाँच (शब्दों के अंदर लैटिन अक्षर और अंक 2, 3, 5, 6, 7, 8 या 9, जैसा नीचे के regex में है) LLM कॉल पर ख़र्च करने से पहले ज़्यादातर Arabizi पकड़ लेती है। सिर्फ़ अरबी या सिर्फ़ अंग्रेज़ी मैसेज conversion छोड़ सकते हैं। ज़्यादा सख़्त आउटपुट के लिए schema के साथ structured output इस्तेमाल करें।
import re
ARABIZI_HINT = re.compile(r"\b[a-z]*[2356789][a-z]+\b|\b[a-z]+[2356789][a-z]*\b", re.I)
def maybe_arabizi(text: str) -> bool:
    return bool(ARABIZI_HINT.search(text)) and not re.search(r"[؀-ۿ]", text)

यह hint बिना अंकों वाली Arabizi (“ana mesh fahem”, मुझे समझ नहीं आया) छोड़ देता है और “a7x” जैसे प्रोडक्ट कोड पर चल जाता है; इसे लागत बचाने वाला मानें, classifier नहीं। असली फ़ैसला LLM का script फ़ील्ड है।

जवाब किस लिपि में हो?

हर मैसेज के लिए नहीं, हर प्रोडक्ट के लिए तय करें:

जवाब कब
अरबी लिपि (MSA या हल्की बोली) ज़्यादातर बिज़नेस के लिए डिफ़ॉल्ट; सब पढ़ सकते हैं
अंग्रेज़ी अगर आपकी सपोर्ट भाषा अंग्रेज़ी है, या ग्राहक ने ज़्यादातर अंग्रेज़ी मिलाई
Arabizi युवा ब्रांड जो ग्राहक की शैली से मेल खाना चाहते हैं; मूल वक्ताओं से सैंपल की समीक्षा करवाएँ

Arabizi की अपने आप नक़ल करने से अक्सर ऐसी वर्तनियाँ बनती हैं जो मूल उपयोगकर्ताओं को अजीब लगती हैं, क्योंकि पालन करने के लिए कोई मानक नहीं है। अगर आप नक़ल करते हैं, तो मॉडल को अपनी पसंदीदा वर्तनियों के उदाहरण दें। भाषा-रूप और लिपि तय करने पर और अरबी प्रॉम्प्ट इंजीनियरिंग में।

Arabizi के लिए कौन-सा मॉडल इस्तेमाल करें?

अपने चैनलों से 50 से 100 असली Arabizi मैसेज जमा करें, हर एक का सही अरबी-लिपि रूप और इरादा लिखें, और उम्मीदवार मॉडलों को पहले इरादे की सटीकता पर और फिर conversion की गुणवत्ता पर स्कोर करें। BroadNet रिपोर्ट करता है कि उसके टेस्ट में Qwen3.8 27B ने खाड़ी और मिस्री बोलियाँ समझीं और धाराप्रवाह अरबी लिखी; इसने Arabizi का अलग नतीजा प्रकाशित नहीं किया, इसलिए इसे अपने मैसेज पर टेस्ट करें। DeepSeek V4.1 Flash प्रति आउटपुट टोकन सस्ता है, और BroadNet Gemma 4 VL 26B बड़ी मात्रा वाले pre-classification चरण के लिए BroadNet का सबसे सस्ता मॉडल है। कीमतें pricing पेज पर हैं। लैटिन-लिपि Arabizi और अरबी लिपि अलग तरह tokenise होती हैं, इसलिए लागत का अंदाज़ा लगाने से पहले कुछ मैसेज के दोनों रूप मुफ़्त टोकन काउंटर में पेस्ट करें।

Arabizi कहाँ दिखती है?

  • WhatsApp और सोशल DMs: मुख्य स्रोत। देखें अरबी WhatsApp chatbot आर्किटेक्चर।
  • सर्च बॉक्स: उपयोगकर्ता “7agz” (حجز, बुकिंग) टाइप करते हैं। अरबी RAG retrieval से पहले उसी चरण से queries normalise करें।
  • speech to text से नहीं, अगर आप भाषा भेजते हैं। Arabizi लोग टाइप करते हैं। अगर अरबी ऑडियो की ट्रांसक्रिप्ट लैटिन अक्षरों में आती है, तो शायद अनुरोध में language=ar नहीं है; BroadNet के docs चेतावनी देते हैं कि वरना अरबी का लिप्यंतरण हो सकता है। WhatsApp वॉइस नोट गाइड देखें।

अक्सर पूछे जाने वाले सवाल

क्या Arabizi और Franco-Arabic एक ही हैं?

हाँ। Arabizi, Franco-Arabic, Franco और Arabic chat alphabet, सब अरबी को लैटिन अक्षरों और अंकों में लिखने के एक ही चलन के नाम हैं। नाम देश के हिसाब से बदलते हैं; मिस्र में "Franco" आम है।

क्या मेरा chatbot Arabizi में जवाब दे?

आमतौर पर नहीं। अपने ब्रांड के हिसाब से अरबी लिपि या अंग्रेज़ी में जवाब दें। युवाओं पर केंद्रित कुछ ब्रांड Arabizi में जवाब देते हैं, लेकिन मूल वक्ताओं से जाँच करवाएँ कि वर्तनी स्वाभाविक लगे।

क्या regex से Arabizi को अरबी में बदला जा सकता है?

भरोसेमंद तरीक़े से नहीं। स्वर मनमर्ज़ी से छोड़े या जोड़े जाते हैं और वही लैटिन अक्षर संदर्भ के हिसाब से अलग अरबी अक्षरों से मेल खाते हैं। नियम पहचान में मदद करते हैं; बदलने के लिए language मॉडल चाहिए।

अरबी मैसेज में 3 का क्या मतलब है?

Arabizi में 3 अक्षर ع (ऐन) के लिए है, जैसे عربي (अरबी) के लिए "3arabi"। दूसरे आम अंक हैं ء के लिए 2, خ के लिए 5, ح के लिए 7 और ص के लिए 9।

मेरा ट्रांसक्रिप्शन लैटिन अक्षरों में क्यों आया?

यह speech मॉडल का लिप्यंतरण है, उपयोगकर्ताओं की टाइप की हुई Arabizi नहीं। अरबी लिपि पाने के लिए हर अरबी ट्रांसक्रिप्शन अनुरोध के साथ language=ar भेजें।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें