BroadRouter

Dialek bahasa Arab (dialectal Arabic)

Diperbarui

Dialek bahasa Arab adalah bahasa Arab lisan sehari-hari di suatu wilayah atau kota, seperti bahasa Arab Mesir, Teluk, Levant, atau Maghribi. Dialek berbeda dari Bahasa Arab Standar Modern dalam bunyi, kosakata, dan tata bahasa, tidak punya ejaan baku, dan makin sering ditulis di internet, sehingga lebih sulit bagi model bahasa.

Disebut juga: dialek bahasa Arab, dialek Arab, bahasa Arab amiyah, bahasa Arab pasaran, bahasa Arab Teluk, bahasa Arab Mesir, bahasa Arab Levant, bahasa Arab Maghribi, Khaleeji, Arabic dialects, Arabic dialect, colloquial Arabic, Gulf Arabic, Egyptian Arabic, Levantine Arabic, Maghrebi Arabic

Sebuah model bisa mendapat skor bagus di benchmark bahasa Arab tetapi tetap tersandung pada voice note dari Riyadh atau pesan chat dari Casablanca. Itulah dialek, dan ujiannya berbeda dari Bahasa Arab Standar Modern.

Cara kerjanya

Bouamor dkk. (2018), yang membangun korpus MADAR, menggambarkan bahasa Arab sebagai “a family of varieties” (terjemahan: sebuah keluarga ragam bahasa). MSA adalah bahasa bersama untuk budaya, media, dan pendidikan “from Morocco to Oman” (terjemahan: dari Maroko hingga Oman), tetapi bukan bahasa ibu penutur mana pun. Dialek biasanya dikelompokkan per wilayah, yaitu Mesir, Afrika Utara, Levant, Teluk, dan Yaman, atau per subwilayah, seperti Tunisia, Lebanon, Kuwait, dan seterusnya. Dialek berbeda dari MSA dalam bunyi, kosakata, dan morfologi, dan dalam kadar yang lebih kecil juga berbeda dari kota ke kota.

Tiga perbedaan paling penting untuk perangkat lunak:

  • Bunyi. Contoh dari MADAR adalah huruf qaf (ق). Dalam bahasa Arab Tunisia huruf ini tetap /q/, dekat dengan MSA; dalam bahasa Arab Mesir dan Levant menjadi hentian glotal; dalam bahasa Arab Teluk menjadi /g/. Model ucapan harus memetakan ketiganya kembali ke kata tertulis yang sama.
  • Kosakata. Kata sehari-hari berbeda. “Saya mau” adalah أريد dalam MSA, عايز dalam bahasa Arab Mesir, بدي dalam bahasa Arab Levant, أبي atau أبغى dalam bahasa Arab Teluk, dan بغيت dalam bahasa Arab Maroko.
  • Ejaan. MADAR mencatat bahwa MSA punya ortografi baku, sedangkan dialek tidak. Orang menulis berdasarkan bunyi atau etimologi, dan kadang dengan huruf Latin sebagai Arabizi. Penutur juga mencampur bahasa Inggris atau Prancis, yang disebut code-switching.

Dialek juga makin sering ditulis. MADAR menyebutnya sebagai bahasa tulis utama yang sedang tumbuh untuk komunikasi informal di internet. NADI 2020 membangun shared task dari tweet yang mencakup 100 provinsi di 21 negara Arab.

Mengapa penting

  • Bot chat dan layanan pelanggan. Pengguna menulis seperti mereka berbicara. Aturan intent, pencarian kata kunci, dan model sentimen yang dilatih dengan MSA melewatkan kata-kata dialek. Lihat dialek Teluk dan Mesir dengan LLM.
  • Speech-to-text. Audio berdialek mendapat skor jauh lebih buruk daripada MSA yang dibacakan pada model yang sama. Buat set uji per dialek, seperti dijelaskan di artikel pengenalan ucapan dialek.
  • Routing. Jika balasan, peninjau, atau prompt berbeda per wilayah, beri label dialek terlebih dahulu dengan identifikasi dialek bahasa Arab.

Di BroadNet Inference

BroadNet mencantumkan BroadNet Transcribe Arabic untuk bahasa Arab Teluk, Mesir, Levant, Maghribi, dan Standar Modern. BroadNet melaporkan word error rate 3,8 pada ucapan yang dibacakan FLEURS-ar dan 23,4 pada set dialek Teluk, Mesir, dan Levant miliknya sendiri, keduanya pengukuran BroadNet. Selisih itu adalah efek dialek. Kirim language=ar untuk semuanya; dokumentasi BroadNet memperingatkan bahwa jika tidak, bahasa Arab bisa kembali dalam bentuk transliterasi huruf Latin.

Untuk teks, BroadNet melaporkan telah menguji Qwen3.8 27B dalam bahasa Arab dengan dialek Teluk dan Mesir dapat dipahami. BroadNet tidak menerbitkan hasil untuk teks Levant atau Maghribi, jadi uji keduanya dengan pesan Anda sendiri. Panduan LLM bahasa Arab membandingkan model-modelnya, dan panduan speech-to-text bahasa Arab berisi kode yang siap jalan.

Kesalahan umum

  • Hanya menguji dengan teks berita MSA, lalu merilis ke pengguna yang menulis dalam dialek.
  • Merata-ratakan WER lintas dialek, yang menyembunyikan dialek terlemah.
  • Menormalisasi ejaan dialek ke MSA pada teks yang Anda tampilkan ke pengguna.

Pertanyaan umum

Kode bahasa apa yang saya kirim untuk audio berdialek?

Kirim ar. Dokumentasi BroadNet meminta language=ar untuk audio bahasa Arab, dan BroadNet mencantumkan Transcribe Arabic untuk bahasa Arab Teluk, Mesir, Levant, Maghribi, dan Standar Modern dalam satu model itu.

Sebaiknya model menjawab dalam dialek atau MSA?

Putuskan per produk dan tuliskan di system prompt. Banyak asisten membaca dialek lalu menjawab dalam MSA sederhana atau dalam dialek pengguna; uji mana yang lebih disukai pengguna Anda.

Ada berapa dialek bahasa Arab?

Tidak ada jumlah pasti. Dialek dikelompokkan per wilayah (Mesir, Afrika Utara, Levant, Teluk, Yaman) atau per subwilayah. MADAR saja mencakup 25 dialek kota.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity