Puwedeng mataas ang score ng isang model sa mga Arabic benchmark pero matisod pa rin sa isang voice note mula Riyadh o chat message mula Casablanca. Mga dialect ang mga iyon, at ibang test sila kumpara sa Modern Standard Arabic.
Paano ito gumagana
Inilalarawan nina Bouamor et al. (2018), na bumuo ng MADAR corpus, ang Arabic bilang “a family of varieties” (Salin ng BroadRouter: “isang pamilya ng mga variety”). Ang MSA ang pinagsasaluhang wika ng kultura, media at edukasyon “from Morocco to Oman” (mula Morocco hanggang Oman), pero hindi ito katutubong wika ng sinumang nagsasalita. Kadalasang pinapangkat ang mga dialect ayon sa rehiyon, bilang Egyptian, North African, Levantine, Gulf at Yemeni, o ayon sa mas maliit na rehiyon, bilang Tunisian, Lebanese, Kuwaiti at iba pa. Naiiba sila sa MSA sa tunog, bokabularyo at morphology, at sa mas maliit na antas, sa bawat lungsod.
Tatlong pagkakaiba ang pinakamahalaga para sa software:
- Tunog. Ang halimbawa ng MADAR ay ang letrang qaf (ق). Sa Tunisian Arabic, nananatili itong /q/, malapit sa MSA; sa Egyptian at Levantine Arabic, glottal stop ito; sa Gulf Arabic, /g/ ito. Kailangang i-map ng mga speech model ang tatlong ito pabalik sa iisang nakasulat na salita.
- Salita. Magkakaiba ang mga pang-araw-araw na salita. Ang “I want” (gusto ko) ay أريد sa MSA, عايز sa Egyptian, بدي sa Levantine, أبي o أبغى sa Gulf Arabic at بغيت sa Moroccan Arabic.
- Spelling. Ayon sa MADAR, may standard na orthography ang MSA pero wala ang mga dialect. Nagsi-spell ang mga tao ayon sa tunog o sa etymology, at minsan sa Latin na letra bilang Arabizi. Naghahalo rin ng English o French ang mga nagsasalita, na tinatawag na code-switching.
Lalo ring isinusulat ang dialect. Tinatawag ito ng MADAR na umuusbong na pangunahing nakasulat na wika ng impormal na komunikasyon online. Bumuo ang NADI 2020 ng shared task mula sa mga tweet na sumasaklaw sa 100 probinsya sa 21 bansang Arabo.
Bakit ito mahalaga
- Mga chat at support bot. Nagsusulat ang mga user kung paano sila magsalita. Hindi nakikilala ng mga intent rule, keyword search at sentiment model na na-train sa MSA ang mga salita ng dialect. Tingnan ang Gulf at Egyptian na dialect sa mga LLM.
- Speech-to-text. Mas mababa nang malaki ang score ng audio na nasa dialect kaysa sa binasang MSA sa parehong model. Gumawa ng test set kada dialect, gaya ng paliwanag sa post tungkol sa dialect speech recognition.
- Routing. Kung nagkakaiba ayon sa rehiyon ang mga sagot, reviewer o prompt, lagyan muna ng label ang dialect gamit ang Arabic dialect identification.
Sa BroadNet Inference
Nakalista sa BroadNet ang BroadNet Transcribe Arabic para sa Gulf, Egyptian, Levantine, Maghrebi at Modern Standard Arabic. Iniuulat ng BroadNet ang word error rate na 3.8 sa FLEURS-ar na binasang speech at 23.4 sa sarili nitong set ng Gulf, Egyptian at Levantine na dialect, na parehong sukat ng BroadNet. Ang agwat ay ang epekto ng dialect. Ipadala ang language=ar para sa lahat ng ito; nagbababala ang docs ng BroadNet na kung hindi, puwedeng bumalik ang Arabic na naka-transliterate sa Latin na letra.
Para sa text, iniuulat ng BroadNet na sinubukan nito ang Qwen3.8 27B sa Arabic at naintindihan nito ang Gulf at Egyptian na dialect. Walang inilalathalang resulta ang BroadNet para sa Levantine o Maghrebi na text, kaya i-test ang mga iyon gamit ang sarili mong mga mensahe. Ikinukumpara ng gabay sa Arabic LLM ang mga model, at may gumaganang code ang gabay sa Arabic speech-to-text.
Mga karaniwang pagkakamali
- Pag-test lang sa MSA na news text, tapos ilalabas sa mga user na nagsusulat sa dialect.
- Pag-average ng WER sa lahat ng dialect, na nagtatago sa pinakamahina.
- Pag-normalize ng spelling ng dialect sa MSA sa text na ipinapakita mo sa mga user.