Saat orang bilang sebuah model AI “bisa bahasa Arab”, biasanya yang dimaksud adalah model itu menangani Bahasa Arab Standar Modern. Dialek adalah ujian tersendiri.
Cara kerjanya
Bahasa Arab adalah satu keluarga ragam bahasa. Makalah MADAR (Bouamor dkk., 2018) menyatakannya dengan lugas: MSA adalah “the shared language of culture, media, and education from Morocco to Oman” (terjemahan: bahasa bersama untuk budaya, media, dan pendidikan dari Maroko hingga Oman), tetapi “is not the native language of any speaker of Arabic” (terjemahan: bukan bahasa ibu penutur bahasa Arab mana pun). Dialek dikelompokkan secara regional sebagai Mesir, Afrika Utara, Levant, Teluk, dan Yaman, serta secara subregional sebagai Tunisia, Lebanon, Kuwait, Qatar, dan seterusnya. MADAR sendiri mencakup 25 dialek kota di samping MSA.
Dalam praktiknya keduanya bercampur. Di situasi tanpa naskah yang mestinya memakai MSA, seperti talk show TV, penutur berpindah-pindah antara MSA dan dialek mereka. Itulah alih kode, dan shared task alih kode tahun 2014 menemukan bahwa pasangan MSA dan dialek paling sulit dibedakan di tingkat kata, lebih sulit daripada Spanyol-Inggris atau Nepal-Inggris.
| MSA | Dialek | |
|---|---|---|
| Di mana | berita, buku, sekolah, kontrak, pidato formal | rumah, jalan, telepon, pesan suara, chat |
| Ejaan | baku | tidak ada ejaan tetap; sering diketik sebagai Arabizi |
| Data latih | korpus tulisan yang besar | jauh lebih sedikit, tersebar tidak merata per wilayah |
Mengapa penting
- Kualitas LLM. Sebuah model bisa menulis MSA dengan baik namun tetap meleset pada slang Teluk atau Maghribi. Uji dengan dialek yang dipakai pengguna Anda.
- Akurasi speech-to-text. Banyak set uji berisi ucapan yang dibacakan atau siaran, sedangkan audio Anda mungkin berupa pesan suara berdialek. Mintalah word error rate per ragam, bukan satu angka untuk bahasa Arab, dan uji dengan rekaman Anda sendiri.
- Biaya token. Dalam dataset tokenizer kami, pada Qwen3.8 27B Bahasa Arab Standar Modern membutuhkan 1.31× token dibanding kalimat yang sama dalam bahasa Inggris (2,009 kalimat FLORES-200), dan bahasa Arab Teluk 1.21× (set kecil berisi 49 kalimat Tatoeba, jadi angkanya kasar). Gunakan penghitung token bahasa Arab untuk teks Anda sendiri.
Di BroadNet Inference
BroadNet melaporkan telah menguji Qwen3.8 27B untuk penulisan bahasa Arab yang lancar, dengan dialek Teluk dan Mesir dapat dipahami. BroadNet Transcribe Arabic tercantum untuk bahasa Arab termasuk dialek. Untuk audio MSA maupun dialek, kirim language=ar; dokumentasi BroadNet memperingatkan bahwa tanpa parameter itu bahasa Arab bisa kembali dalam huruf Latin. Artikel pengenalan ucapan dialek menjelaskan cara menguji dengan rekaman Anda sendiri.