Apabila orang berkata model AI “boleh berbahasa Arab”, biasanya maksudnya ia mengendalikan bahasa Arab Standard Moden. Dialek ialah ujian yang berasingan.
Cara ia berfungsi
Bahasa Arab ialah satu keluarga varian. Kertas MADAR (Bouamor et al., 2018) menyatakannya dengan jelas: MSA ialah “the shared language of culture, media, and education from Morocco to Oman” (Terjemahan BroadRouter: “bahasa bersama bagi budaya, media dan pendidikan dari Maghribi hingga Oman”), namun ia “is not the native language of any speaker of Arabic” (Terjemahan BroadRouter: “bukan bahasa ibunda mana-mana penutur bahasa Arab”). Dialek dikumpulkan mengikut rantau sebagai Mesir, Afrika Utara, Levant, Teluk dan Yaman, dan mengikut subrantau sebagai Tunisia, Lubnan, Kuwait, Qatar dan sebagainya. MADAR sendiri merangkumi 25 dialek bandar di samping MSA.
Dalam amalan, kedua-duanya bercampur. Dalam situasi tanpa skrip yang dijangka menggunakan MSA, seperti rancangan bual bicara TV, penutur bertukar-tukar antara MSA dan dialek mereka. Itulah penukaran kod, dan tugasan bersama code-switching 2014 mendapati MSA berbanding dialek ialah pasangan paling sukar dibezakan pada peringkat perkataan, lebih sukar daripada Sepanyol-Inggeris atau Nepal-Inggeris.
| MSA | Dialek | |
|---|---|---|
| Di mana | berita, buku, sekolah, kontrak, pertuturan rasmi | rumah, jalanan, panggilan telefon, nota suara, chat |
| Ejaan | standard | tiada ejaan tetap; sering ditaip sebagai Arabizi |
| Data latihan | korpus bertulis yang besar | jauh lebih sedikit, tidak sekata mengikut rantau |
Mengapa ia penting
- Kualiti LLM. Sesuatu model boleh menulis MSA dengan baik tetapi masih terlepas slanga Teluk atau Maghribi. Uji dengan dialek yang dituturkan oleh pengguna anda.
- Ketepatan speech-to-text. Banyak set ujian ialah pertuturan yang dibaca atau siaran, sedangkan audio anda mungkin nota suara dalam dialek. Minta kadar ralat perkataan mengikut varian, bukan satu angka untuk bahasa Arab, dan uji pada rakaman anda sendiri.
- Kos token. Dalam set data tokenizer kami, pada Qwen3.8 27B, bahasa Arab Standard Moden memerlukan 1.31× token berbanding ayat yang sama dalam bahasa Inggeris (2,009 ayat FLORES-200), dan bahasa Arab Teluk 1.21× (set kecil 49 ayat Tatoeba, jadi angka kasar sahaja). Gunakan pengira token Arab pada teks anda sendiri.
Di BroadNet Inference
BroadNet melaporkan telah menguji Qwen3.8 27B untuk penulisan bahasa Arab yang fasih, dengan dialek Teluk dan Mesir difahami. BroadNet Transcribe Arabic disenaraikan untuk bahasa Arab termasuk dialek. Untuk audio MSA dan dialek, hantar language=ar; dokumentasi BroadNet memberi amaran bahawa tanpanya bahasa Arab boleh dikembalikan dalam huruf Rumi. Artikel tentang pengecaman pertuturan dialek menerangkan cara menguji pada rakaman anda sendiri.