Kapag sinabing “marunong ng Arabic” ang isang AI model, kadalasan ang ibig sabihin ay kaya nito ang Modern Standard Arabic. Hiwalay na pagsubok ang mga dialect.
Paano ito gumagana
Pamilya ng mga variety ang Arabic. Diretsahan ito sa MADAR paper (Bouamor et al., 2018): ang MSA ay “the shared language of culture, media, and education from Morocco to Oman” (Salin ng BroadRouter: “ang pinagsasaluhang wika ng kultura, media at edukasyon mula Morocco hanggang Oman”), pero “is not the native language of any speaker of Arabic” (Salin ng BroadRouter: “hindi ito katutubong wika ng sinumang nagsasalita ng Arabic”). Nakapangkat ang mga dialect ayon sa rehiyon bilang Egyptian, North African, Levantine, Gulf at Yemeni, at ayon sa sub-rehiyon bilang Tunisian, Lebanese, Kuwaiti, Qatari at iba pa. Sakop mismo ng MADAR ang 25 city dialect bukod sa MSA.
Sa praktika, naghahalo ang dalawa. Sa mga hindi naka-script na sitwasyon kung saan inaasahan ang MSA, gaya ng TV talk show, palipat-lipat ang mga nagsasalita sa MSA at sa kanilang dialect. Iyan ang code-switching, at nakita ng 2014 code-switching shared task na ang MSA laban sa dialect ang pinakamahirap paghiwalayin sa antas ng salita, mas mahirap pa kaysa Spanish-English o Nepali-English.
| MSA | Mga dialect | |
|---|---|---|
| Saan | balita, libro, paaralan, kontrata, pormal na pananalita | bahay, kalye, tawag sa phone, voice note, chat |
| Spelling | standard | walang tiyak na spelling; madalas tina-type bilang Arabizi |
| Training data | malalaking nakasulat na corpus | mas kaunti, hindi pantay ang hati kada rehiyon |
Bakit ito mahalaga
- Kalidad ng LLM. Puwedeng magaling sumulat ng MSA ang isang model pero hindi pa rin makuha ang slang ng Gulf o Maghreb. Mag-test gamit ang dialect na sinasalita ng mga user mo.
- Accuracy ng speech-to-text. Maraming test set ang binasang speech o broadcast, samantalang puwedeng mga dialect na voice note ang audio mo. Humingi ng word error rate kada variety, hindi iisang numero para sa Arabic, at mag-test sa sarili mong recordings.
- Gastos sa token. Sa aming tokenizer dataset, sa Qwen3.8 27B, 1.31× ng mga token ng parehong mga pangungusap sa English ang kinailangan ng Modern Standard Arabic (2,009 na FLORES-200 sentence), at 1.21× naman ang Gulf Arabic (maliit na set na 49 na Tatoeba sentence, kaya magaspang na tantiya lang). Gamitin ang Arabic token counter sa sarili mong text.
Sa BroadNet Inference
Ayon sa BroadNet, sinubok nila ang Qwen3.8 27B para sa mahusay na pagsulat ng Arabic, at naiintindihan nito ang mga dialect ng Gulf at Egypt. Nakalista ang BroadNet Transcribe Arabic para sa Arabic kasama ang mga dialect. Para sa audio na MSA man o dialect, ipadala ang language=ar; nagbababala ang docs ng BroadNet na kapag wala ito, puwedeng bumalik ang Arabic sa Latin na letra. Ipinapaliwanag ng artikulo tungkol sa dialect speech recognition kung paano mag-test sa sarili mong recordings.