BroadRouter

Bahasa Arab Teluk, Mesir, dan Syam: cara LLM menangani dialek

Oleh tim BroadNet Inference · 6 menit baca · Dipublikasikan

LLM menangani dialek bahasa Arab secara tidak merata: biasanya model lebih paham bahasa Arab Mesir dan Teluk daripada menulisnya, dan kualitas turun untuk dialek yang lebih jarang. Uji pemahaman dan penulisan secara terpisah pada pesan Anda sendiri. Dalam pengujian BroadNet, Qwen3.8 27B memahami dialek Teluk dan Mesir serta menulis bahasa Arab dengan lancar. Harganya $0.175 per 1 juta token input.

LLM biasanya lebih paham bahasa Arab Teluk dan Mesir daripada menulisnya, dan performanya lebih buruk pada dialek yang lebih jarang. Pelanggan di Riyadh, di Kairo, dan di Beirut bisa menanyakan “Anda mau apa?” dengan tiga kalimat berbeda, dan model yang menangani bahasa Arab Standar Modern (MSA) dengan baik tetap bisa salah membacanya. Uji pemahaman dan penulisan secara terpisah.

Artikel ini membahas apa yang berubah di antara kelompok dialek besar, di mana LLM cenderung gagal, dan cara menguji model sebelum Anda memercayakannya kepada pelanggan sungguhan.

Seberapa berbeda dialek-dialek itu sebenarnya?

Sangat berbeda dalam kata sehari-hari, jauh lebih dekat dalam kosakata formal. Korpus riset menunjukkan skalanya: korpus MADAR menerjemahkan kalimat perjalanan yang sama ke dialek 25 kota Arab. Tabel menunjukkan beberapa frasa umum. Kolom MSA adalah bentuk yang akan dicetak di buku pelajaran; kolom lainnya adalah bentuk lisan dan pesan teks yang khas. Ejaan berbeda dari orang ke orang, dan itu bagian dari masalahnya.

Makna MSA Teluk (Saudi / Emirat) Mesir Syam
Anda mau apa? ماذا تريد؟ وش تبي؟ / شو تبي؟ عايز إيه؟ شو بدّك؟
Apa kabar? كيف حالك؟ شلونك؟ إزيك؟ كيفك؟
sekarang الآن الحين دلوقتي هلّق
Saya tidak tahu لا أعرف ما أدري مش عارف ما بعرف
sangat / banyak جداً وايد أوي كتير

Tiga pola penting bagi LLM:

  • Kata fungsi berubah. Kata tanya, negasi, dan “mau” sepenuhnya berbeda antardialek. Ini kata pendek yang sering muncul dan menentukan makna kalimat, jadi salah membaca satu saja bisa membalik intent.
  • Ejaan tidak baku. Dialek kebanyakan diucapkan, jadi orang menuliskannya sesuai bunyi. Kata yang sama bisa muncul dengan huruf berbeda, dengan atau tanpa hamzah, atau dalam aksara Latin (Arabizi).
  • Code-switching itu normal. Pesan bisnis di Teluk bercampur nama produk berbahasa Inggris; penutur Syam dan Maghribi mencampur bahasa Prancis. Model harus mampu menangani kedua aksara dalam satu kalimat.

Di mana LLM gagal pada dialek bahasa Arab?

Model belajar dari teks yang dilihatnya, dan teks publik untuk dialek yang lebih kecil seperti Emirat atau Sudan jauh lebih sedikit daripada untuk bahasa Arab Standar Modern. Dalam praktiknya, hal ini muncul sebagai beberapa kesalahan berulang:

  1. Membaca kata dialek sebagai kata MSA yang berbeda. “أبي” dalam dialek Teluk (saya mau) terlihat sama dengan “أبي” dalam MSA (ayah saya). Konteks biasanya menyelesaikannya, tetapi model kecil kadang tidak.
  2. Menjawab intent yang salah. Keluhan singkat berbahasa Mesir seperti “الطلب لسه موصلش” (pesanannya masih belum sampai) mengharuskan model tahu bahwa “لسه” berarti “masih” dan “موصلش” adalah kata kerja yang dinegasikan.
  3. Menulis dialek campuran. Saat diminta membalas “dalam bahasa Arab Teluk”, model yang lebih lemah menghasilkan campuran Mesir, Syam, dan MSA yang tidak akan ditulis penutur asli mana pun. Ini lebih sering terjadi daripada salah paham.
  4. Koreksi berlebihan. Sebagian model “memperbaiki” dialek pelanggan menjadi MSA ketika Anda memintanya mengutip, yang merusak tugas ekstraksi.

Aturan umumnya: model lebih paham dialek daripada menulisnya. Rancang produk Anda dengan memperhitungkan hal itu.

Apa yang sudah diuji BroadNet pada dialek bahasa Arab?

BroadNet menerbitkan pengecekan bahasa Arabnya sendiri di halaman harga. Untuk Qwen3.8 27B, BroadNet melaporkan:

  • penulisan bahasa Arab yang lancar,
  • pemahaman dialek Teluk dan Mesir,
  • terjemahan Arab–Inggris yang akurat.

Itulah yang dinyatakan BroadNet, tidak lebih. BroadNet tidak menerbitkan hasil untuk dialek Syam, Irak, atau Maghribi, dan tidak menerbitkan skor penulisan dialek. Jika pelanggan dari wilayah Syam penting bagi Anda, uji sendiri dengan metode di bawah.

Qwen3.8 27B menerima teks dan gambar, mendukung tool dan output terstruktur, bernalar sebelum menjawab, dan punya konteks 262.144 token. Per 1 juta token, harganya $0.175 untuk input dan $2.17 untuk output. Bandingkan model chat lainnya di halaman harga, dan lihat memilih API LLM untuk bahasa Arab untuk daftar periksa lebih luas yang juga mencakup penulisan, terjemahan, dan dokumen.

Bagaimana menulis prompt LLM untuk dialek tertentu?

Sebutkan dialek yang Anda harapkan, dialek yang Anda inginkan untuk balasan, dan seberapa formal. System prompt yang bekerja baik untuk kotak masuk toko ritel Saudi:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

system = (
    "You are a customer-service assistant for a Saudi online store. "
    "Customers write in Gulf Arabic (often Saudi), MSA, English or Arabizi. "
    "Understand all of them. Reply in simple, polite Modern Standard Arabic, "
    "in two or three short sentences. If the customer writes in English, reply in English. "
    "Never invent order details."
)

response = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    max_tokens=2000,  # the model reasons first; leave room for the answer
    messages=[
        {"role": "system", "content": system},
        {"role": "user", "content": "السلام عليكم، طلبي للحين ما وصل، وش السالفة؟"},
    ],
)
print(response.choices[0].message.content)

Pesan pelanggan itu berbahasa Arab Teluk: “Halo, pesanan saya masih belum sampai, ada apa ya?” Kata “للحين” (masih) dan “وش السالفة” (ceritanya bagaimana / ada apa) adalah bentuk Teluk. Balasan yang baik mengakui keterlambatan dalam MSA dan menanyakan nomor pesanan.

Beberapa kebiasaan prompt lain yang membantu:

  • Sebutkan negaranya, bukan hanya wilayahnya. “Bahasa Arab Teluk” mencakup ucapan Saudi, Emirat, Kuwait, Qatar, Bahrain, dan Oman, yang berbeda-beda. Jika Anda tahu pasarnya, sebutkan.
  • Minta label dialek pada tugas ekstraksi. Untuk routing atau analitik, minta model mengembalikan {"dialect": "gulf" | "egyptian" | "levantine" | "msa" | "other", "intent": ...} dengan output terstruktur. Ini cara murah untuk mengetahui siapa pelanggan Anda.
  • Tulis instruksi dalam satu bahasa. Instruksi berbahasa Inggris dengan konten berbahasa Arab bekerja baik di sebagian besar model. Instruksi berbahasa Arab juga bekerja; mencampur keduanya dalam satu system prompt cenderung mengaburkan register. Selengkapnya di prompt engineering bahasa Arab.

Perlukah membalas dengan dialek?

Untuk sebagian besar bisnis, tidak. MSA sederhana (kadang disebut bahasa Arab “putih” atau netral) dipahami oleh setiap pembaca bahasa Arab, terbaca profesional, dan menghindari risiko balasan yang terdengar seperti berasal dari negara yang salah. Balasan berdialek masuk akal untuk merek yang santai, materi pemasaran yang ditulis untuk satu pasar, dan produk suara di mana MSA terdengar kaku. Jika Anda memilih jalan itu, minta penutur asli dialek yang persis sama meninjau sampel output setiap minggu.

Bagaimana menguji penanganan dialek dalam sehari?

  1. Kumpulkan pesan nyata. Ambil 30 sampai 50 pesan yang sudah dianonimkan per dialek dari kotak masuk, log chat, atau voice note yang sudah ditranskripsikan. Hapus nama, nomor telepon, dan nomor pesanan.
  2. Beri label intent. Untuk setiap pesan, tulis intent yang benar dan fakta apa pun yang harus diekstrak model (nomor pesanan, produk, tanggal).
  3. Uji pemahaman. Minta setiap model kandidat mengembalikan intent dan field sebagai JSON. Nilai kecocokan persisnya. Angka inilah yang menentukan apakah routing berjalan.
  4. Uji penulisan. Untuk sepuluh pesan per dialek, minta balasan. Minta penutur asli menilai setiap balasan dengan skala 1–3 untuk kebenaran, nada, dan kewajaran. Jangan menilai dialek yang tidak Anda kuasai.
  5. Cek biaya dan kecepatan. Catat usage.prompt_tokens, usage.completion_tokens, dan latensi per panggilan. Teks dialek bisa ditokenisasi berbeda dari MSA, jadi ukur, jangan menebak; penghitung token bahasa Arab gratis memberi perkiraan awal yang cepat.
  6. Ulangi untuk setiap model. Jalankan set yang sama di Qwen3.8 27B, DeepSeek V4.1 Flash, dan GLM 5.3. Ketiganya memakai API yang sama dan kompatibel dengan OpenAI, jadi hanya ID model yang berubah.

Qwen3.8 27B, DeepSeek V4.1 Flash, dan GLM 5.3 bisa dipakai setelah top up; di antara model chat, kredit awal gratis $5 hanya mencakup BroadNet Gemma 4 VL 26B, yang layak ditambahkan sebagai baseline berbiaya rendah. Hasil yang berguna sering kali berupa penyiapan terpisah: satu model untuk pemahaman dan routing, dengan balasan disusun dalam MSA.

Bagaimana dengan dialek dalam voice note?

Jika pelanggan Anda mengirim voice note, penanganan dialek dimulai lebih awal, di speech-to-text. Model transkripsi bisa salah mendengar kata dialek sebelum LLM sempat melihatnya. BroadNet melaporkan word error rate dialek sebesar 23,4 untuk BroadNet Transcribe Arabic, dibanding 3,8 pada ucapan yang dibacakan di FLEURS; lihat penjelasan WER bahasa Arab untuk arti angka-angka itu. Uji seluruh rantai, dari voice note sampai balasan, bukan masing-masing bagian secara terpisah.

Pertanyaan umum

Apakah chatbot saya sebaiknya membalas dengan dialek pelanggan?

Biasanya tidak secara default. Bahasa Arab Standar Modern yang sederhana dipahami di mana-mana dan terlihat profesional. Pakai balasan berdialek hanya jika suara merek Anda menuntutnya, dan hanya setelah penutur asli meninjau outputnya.

Model BroadNet mana yang diuji BroadNet untuk dialek bahasa Arab?

Qwen3.8 27B. BroadNet melaporkan penulisan bahasa Arab yang lancar, pemahaman dialek Teluk dan Mesir, serta terjemahan Arab–Inggris yang akurat. BroadNet belum menerbitkan hasil untuk dialek Syam atau Maghribi.

Berapa banyak pesan uji yang saya butuhkan per dialek?

Tiga puluh sampai lima puluh pesan nyata per dialek sudah cukup untuk melihat perbedaan yang jelas antarmodel. Tambahkan lebih banyak untuk dialek yang dipakai sebagian besar pelanggan Anda.

Apakah pesan berdialek memakan lebih banyak token?

Mungkin. Jumlah token bergantung pada tokenizer dan ejaan, dan teks dialek sering memakai ejaan tidak baku. Tempelkan sampel ke penghitung token dan konfirmasi dengan prompt_tokens pada pesan Anda sendiri, jangan berasumsi.

Apakah LLM bisa memahami bahasa Arab Mesir?

Sering bisa, tetapi cek pada pesan Anda sendiri. BroadNet melaporkan Qwen3.8 27B memahami bahasa Arab Mesir dan Teluk dalam pengujiannya; model lain bervariasi. Menulis dialek biasanya kurang andal dibanding membacanya, jadi nilai akurasi intent dan kualitas balasan secara terpisah pada 30 sampai 50 pesan nyata.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity