Bir yapay zeka modelinin “Arapça konuştuğu” söylendiğinde genellikle Modern Standart Arapçayı işleyebildiği kastedilir. Lehçeler ayrı bir sınavdır.
Nasıl çalışır
Arapça bir varyeteler ailesidir. MADAR makalesi (Bouamor ve ark., 2018) bunu açıkça söyler: MSA “the shared language of culture, media, and education from Morocco to Oman” (çeviri: Fas’tan Umman’a kültürün, medyanın ve eğitimin ortak dili) olmasına rağmen “is not the native language of any speaker of Arabic” (çeviri: hiçbir Arapça konuşurun ana dili değildir). Lehçeler bölgesel olarak Mısır, Kuzey Afrika, Levant, Körfez ve Yemen; alt bölgesel olarak da Tunus, Lübnan, Kuveyt, Katar vb. şeklinde gruplanır. MADAR’ın kendisi MSA’nın yanında 25 şehir lehçesini kapsar.
Pratikte ikisi karışır. Televizyon sohbet programları gibi MSA beklenen ama metne bağlı olmayan ortamlarda konuşanlar MSA ile kendi lehçeleri arasında gidip gelir. Buna kod değiştirme denir ve 2014 kod değiştirme ortak görevi, kelime düzeyinde ayırt edilmesi en zor çiftin MSA ve lehçe olduğunu, İspanyolca-İngilizce veya Nepalce-İngilizceden de zor olduğunu bulmuştur.
| MSA | Lehçeler | |
|---|---|---|
| Nerede | haberler, kitaplar, okul, sözleşmeler, resmi konuşma | ev, sokak, telefon görüşmeleri, sesli mesajlar, sohbet |
| Yazım | standart | sabit yazım yok; çoğu zaman Arabizi ile yazılır |
| Eğitim verisi | büyük yazılı derlemler | çok daha az, bölgelere dengesiz dağılmış |
Neden önemli
- LLM kalitesi. Bir model iyi MSA yazıp yine de Körfez veya Mağrip argosunu kaçırabilir. Kullanıcılarınızın konuştuğu lehçeyle test edin.
- Konuşmadan metne doğruluğu. Birçok test seti okunmuş veya yayın konuşmasıdır, sizin sesleriniz ise lehçeli sesli mesajlar olabilir. Tek bir Arapça sayısı değil, varyete bazında kelime hata oranı isteyin ve kendi kayıtlarınızla test edin.
- Token maliyeti. Tokenizer veri setimizde, Qwen3.8 27B üzerinde Modern Standart Arapça, aynı cümlelerin İngilizcesine göre 1.31× token gerektirdi (2,009 FLORES-200 cümlesi); Körfez Arapçası ise 1.21× (yalnızca 49 Tatoeba cümlesinden oluşan küçük bir set, yani kaba bir rakam). Kendi metniniz için Arapça token sayacını kullanın.
BroadNet Inference’ta
BroadNet, Qwen3.8 27B’yi akıcı Arapça yazım için test ettiğini ve Körfez ile Mısır lehçelerinin anlaşıldığını bildiriyor. BroadNet Transcribe Arabic lehçeler dahil Arapça için listeleniyor. Hem MSA hem lehçeli ses için language=ar gönderin; BroadNet’in belgeleri, bu olmadan Arapçanın Latin harfleriyle dönebileceği konusunda uyarır. Lehçe konuşma tanıma yazısı kendi kayıtlarınızla nasıl test edeceğinizi anlatır.