جب لوگ کہتے ہیں کہ کوئی AI ماڈل “عربی بولتا ہے” تو ان کا مطلب عموماً یہ ہوتا ہے کہ وہ Modern Standard Arabic سنبھال لیتا ہے۔ لہجے ایک الگ امتحان ہیں۔
یہ کیسے کام کرتا ہے
عربی کئی صورتوں کا ایک خاندان ہے۔ MADAR مقالہ (Bouamor اور ساتھی، 2018) اسے صاف کہتا ہے: MSA “the shared language of culture, media, and education from Morocco to Oman” (ترجمہ: مراکش سے عمان تک ثقافت، میڈیا اور تعلیم کی مشترکہ زبان) ہے، پھر بھی یہ “is not the native language of any speaker of Arabic” (ترجمہ: کسی بھی عربی بولنے والے کی مادری زبان نہیں)۔ لہجوں کو علاقائی طور پر مصری، شمالی افریقی، شامی (Levantine)، خلیجی اور یمنی میں تقسیم کیا جاتا ہے، اور ذیلی علاقائی طور پر تیونسی، لبنانی، کویتی، قطری وغیرہ میں۔ MADAR خود MSA کے ساتھ 25 شہروں کے لہجے شامل کرتا ہے۔
عملی طور پر دونوں آپس میں مل جاتے ہیں۔ غیر اسکرپٹڈ مواقع پر، جہاں MSA کی توقع ہوتی ہے، جیسے TV ٹاک شوز، بولنے والے MSA اور اپنے لہجے کے درمیان بار بار آتے جاتے ہیں۔ یہی code-switching ہے، اور 2014 کے code-switching shared task نے پایا کہ لفظ کی سطح پر MSA اور لہجے کو الگ کرنا سب سے مشکل جوڑا تھا، ہسپانوی-انگریزی یا نیپالی-انگریزی سے بھی زیادہ مشکل۔
| MSA | لہجے | |
|---|---|---|
| کہاں | خبریں، کتابیں، اسکول، معاہدے، رسمی گفتگو | گھر، بازار، فون کالز، وائس نوٹس، چیٹ |
| املا | معیاری | کوئی طے شدہ املا نہیں؛ اکثر Arabizi میں ٹائپ ہوتے ہیں |
| ٹریننگ ڈیٹا | بڑے تحریری کارپس | بہت کم، علاقوں میں غیر مساوی طور پر بکھرا ہوا |
یہ کیوں اہم ہے
- LLM کا معیار۔ کوئی ماڈل اچھی MSA لکھ سکتا ہے اور پھر بھی خلیجی یا مغربی بول چال چوک سکتا ہے۔ اسی لہجے میں ٹیسٹ کریں جو آپ کے صارفین بولتے ہیں۔
- Speech-to-text کی درستگی۔ کئی ٹیسٹ سیٹ پڑھی ہوئی یا براڈکاسٹ گفتگو ہوتے ہیں، جبکہ آپ کا آڈیو لہجے والے وائس نوٹس ہو سکتا ہے۔ عربی کے لیے ایک ہی نمبر کے بجائے ہر صورت کا word error rate مانگیں، اور اپنی ریکارڈنگز پر ٹیسٹ کریں۔
- ٹوکن کی لاگت۔ ہمارے tokenizer ڈیٹاسیٹ میں، Qwen3.8 27B پر Modern Standard Arabic کو انگریزی کے انہی جملوں کے مقابلے میں 1.31× ٹوکن لگے (2,009 FLORES-200 جملے)، اور خلیجی عربی کو 1.21× (49 Tatoeba جملوں کا چھوٹا سیٹ، اس لیے یہ موٹا اندازہ ہے)۔ اپنے متن پر عربی ٹوکن کاؤنٹر چلائیں۔
BroadNet Inference پر
BroadNet بتاتا ہے کہ اس نے Qwen3.8 27B کو رواں عربی تحریر کے لیے ٹیسٹ کیا ہے، اور یہ خلیجی اور مصری لہجے سمجھتا ہے۔ BroadNet Transcribe Arabic لہجوں سمیت عربی کے لیے درج ہے۔ MSA اور لہجے، دونوں طرح کے آڈیو کے لیے language=ar بھیجیں؛ BroadNet کی دستاویزات خبردار کرتی ہیں کہ اس کے بغیر عربی لاطینی حروف میں واپس آ سکتی ہے۔ لہجوں کی speech recognition والی تحریر بتاتی ہے کہ اپنی ریکارڈنگز پر کیسے ٹیسٹ کریں۔