کوئی ماڈل عربی بینچ مارکس پر اچھا اسکور کر سکتا ہے اور پھر بھی ریاض کے وائس نوٹ یا کاسابلانکا کے چیٹ پیغام پر اٹک سکتا ہے۔ یہ لہجے ہیں، اور ان کا امتحان جدید معیاری عربی سے مختلف ہے۔
یہ کیسے کام کرتے ہیں
MADAR کارپس بنانے والے Bouamor اور ساتھی (2018) عربی کو “a family of varieties” (ترجمہ: شکلوں کا ایک خاندان) کہتے ہیں۔ MSA “from Morocco to Oman” (ترجمہ: مراکش سے عمان تک) ثقافت، میڈیا اور تعلیم کی مشترکہ زبان ہے، لیکن یہ کسی کی مادری زبان نہیں۔ لہجوں کو عموماً علاقائی طور پر مصری، شمالی افریقی، شامی، خلیجی اور یمنی میں، یا ذیلی علاقائی طور پر تیونسی، لبنانی، کویتی وغیرہ میں تقسیم کیا جاتا ہے۔ یہ MSA سے آوازوں، ذخیرۂ الفاظ اور صرف (morphology) میں مختلف ہیں، اور کچھ کم حد تک ایک شہر سے دوسرے شہر میں بھی۔
سافٹ ویئر کے لیے تین فرق سب سے زیادہ اہم ہیں:
- آوازیں۔ MADAR کی مثال حرف قاف (ق) ہے۔ تیونسی عربی میں یہ /q/ ہی رہتا ہے، MSA کے قریب؛ مصری اور شامی عربی میں یہ گلوٹل اسٹاپ بن جاتا ہے؛ خلیجی عربی میں /g/۔ اسپیچ ماڈلز کو تینوں کو ایک ہی لکھے ہوئے لفظ پر واپس لانا ہوتا ہے۔
- الفاظ۔ روزمرہ کے الفاظ مختلف ہیں۔ “میں چاہتا ہوں” MSA میں أريد ہے، مصری میں عايز، شامی میں بدي، خلیجی عربی میں أبي یا أبغى اور مراکشی عربی میں بغيت۔
- املا۔ MADAR بتاتا ہے کہ MSA کا معیاری املا ہے، لہجوں کا نہیں۔ لوگ آواز کے مطابق یا لفظ کی اصل کے مطابق لکھتے ہیں، اور کبھی لاطینی حروف میں، جسے Arabizi کہتے ہیں۔ بولنے والے بیچ میں انگریزی یا فرانسیسی بھی ملاتے ہیں، جو کوڈ سوئچنگ ہے۔
لہجے اب زیادہ لکھے بھی جا رہے ہیں۔ MADAR انہیں آن لائن غیر رسمی بات چیت کی ابھرتی ہوئی بنیادی تحریری زبان کہتا ہے۔ NADI 2020 نے 21 عرب ممالک کے 100 صوبوں کی ٹویٹس سے ایک مشترکہ ٹاسک بنایا۔
یہ کیوں اہم ہیں
- چیٹ اور سپورٹ بوٹس۔ صارفین ویسے ہی لکھتے ہیں جیسے بولتے ہیں۔ MSA پر تربیت یافتہ انٹینٹ قواعد، کی ورڈ سرچ اور جذبات کے ماڈلز لہجے کے الفاظ نہیں پکڑتے۔ دیکھیں LLMs کے ساتھ خلیجی اور مصری لہجے۔
- اسپیچ ٹو ٹیکسٹ۔ اسی ماڈل پر لہجے والی آڈیو پڑھی گئی MSA سے کہیں خراب اسکور کرتی ہے۔ ہر لہجے کے لیے ٹیسٹ سیٹ بنائیں، جیسا لہجوں کی اسپیچ ریکگنیشن والی پوسٹ سمجھاتی ہے۔
- روٹنگ۔ اگر جوابات، ریویورز یا پرامپٹس خطے کے لحاظ سے بدلتے ہیں تو پہلے عربی لہجے کی شناخت سے لہجے کا لیبل لگائیں۔
BroadNet Inference پر
BroadNet خلیجی، مصری، شامی، مغربی اور جدید معیاری عربی کے لیے BroadNet Transcribe Arabic درج کرتا ہے۔ BroadNet FLEURS-ar کی پڑھی گئی تقریر پر 3.8 اور اپنے خلیجی، مصری اور شامی لہجوں کے سیٹ پر 23.4 کا ورڈ ایرر ریٹ رپورٹ کرتا ہے، دونوں BroadNet کی اپنی پیمائشیں ہیں۔ یہ فرق لہجے کا اثر ہے۔ سب کے لیے language=ar بھیجیں؛ BroadNet کی دستاویزات خبردار کرتی ہیں کہ ورنہ عربی لاطینی حروف میں ٹرانسلٹریٹ ہو کر واپس آ سکتی ہے۔
متن کے لیے BroadNet بتاتا ہے کہ اس نے Qwen3.8 27B کو عربی میں ٹیسٹ کیا اور خلیجی اور مصری لہجے سمجھے گئے۔ BroadNet شامی یا مغربی متن کا کوئی نتیجہ شائع نہیں کرتا، اس لیے انہیں اپنے پیغامات سے ٹیسٹ کریں۔ عربی LLM گائیڈ ماڈلز کا موازنہ کرتی ہے، اور عربی اسپیچ ٹو ٹیکسٹ گائیڈ میں چلنے والا کوڈ ہے۔
عام غلطیاں
- صرف MSA کی خبروں والے متن پر ٹیسٹ کرنا، پھر لہجے میں لکھنے والے صارفین تک پروڈکٹ پہنچا دینا۔
- تمام لہجوں کا WER اوسط کر دینا، جس سے سب سے کمزور لہجہ چھپ جاتا ہے۔
- صارفین کو دکھائے جانے والے متن میں لہجے کے املا کو MSA میں بدل دینا۔