Kullanıcıya kendi lehçesinde yanıt vermeden önce hangi lehçede yazdığını bilmeniz gerekir. Lehçe tespiti budur.
Nasıl çalışır
Araştırma topluluğu bunu NADI ortak görevleriyle (Nuanced Arabic Dialect Identification) ölçer. NADI 2020, 21 Arap ülkesinde 100 vilayeti kapsayan tweet’ler kullandı; bir ülke düzeyi ve bir vilayet düzeyi alt görevi vardı. NADI 2024, bir cümle birkaç lehçede geçerli olabildiği için lehçe tespitini çok etiketli bir görev olarak tanımladı ve lehçesellik düzeyi üzerine bir alt görev ekledi. En iyi Alt Görev 1 sistemi 50,57 F1 aldı ve düzenleyiciler lehçe tespitinin hâlâ zor olduğunu yazıyor.
MADAR derlemi (Bouamor vd., 2018) yaygın bir kaynaktır: aynı seyahat alanı cümleleri 25 şehir lehçesine çevrilmiştir. 2.000 cümle 25 lehçenin hepsinde vardır; Doha, Beyrut, Kahire, Tunus ve Rabat için 10.000 cümle daha bulunur. Bu tür paralel veri, aynı anlamın her yerde nasıl yazıldığını görmenizi sağlar.
Pratikte çoğu ürünün daha kaba bir etikete ihtiyacı vardır. İşe yarar bir küme:
| Etiket | Kapsadığı |
|---|---|
msa |
Modern Standart Arapça |
gulf |
Suudi, Emirlik, Kuveyt, Katar, Bahreyn, Umman |
egyptian |
Mısır |
levantine |
Suriye, Lübnan, Ürdün, Filistin |
maghrebi |
Fas, Cezayir, Tunus, Libya |
other_or_unclear |
Irak, Yemen, Sudan, karışık veya çok kısa |
Bunun için bir LLM istemi tek bir JSON nesnesi ister: etiket, bir güven düzeyi ve ipucunu veren kelimeler. Örneğin عايز أغير الباقة mesajı şöyle dönerdi:
{"dialect": "egyptian", "confidence": "high", "cues": ["عايز"]}
İpucu istemek hataları incelemeyi kolaylaştırır: ipucu bir MSA kelimesiyse etiket şüphelidir.
Neden önemli
- Yönlendirme. Körfez müşterilerini Körfez temsilcilerine gönderin ya da yanıt istemini kullanıcının lehçesine çevirin.
- Değerlendirme. Konuşma ve sohbet test setlerini lehçeye göre bölün. Lehçe konuşma tanıma yazısının gösterdiği gibi tek bir ortalama en zayıf grubu gizler.
- Analitik. Birine yatırım yapmadan önce kullanıcılarınızın gerçekte hangi lehçelerde yazdığını bilin.
Karışık mesajlar yaygındır. Kullanıcılar tek satırda lehçe, MSA ve İngilizce arasında geçiş yapar; buna kod değiştirme (code-switching) denir. Tahmine zorlamak yerine bir “belirsiz” etiketi tutun.
BroadNet Inference’ta
BroadNet’in lehçe tespiti uç noktası yoktur. POST /v1/chat/completions üzerinde kendiniz kurabilirsiniz. BroadNet’in API referansı GLM 5.3 ve Qwen3.8 27B için yapılandırılmış çıktıyı belgeler; bu, sabit bir etiket listesine uygundur, bkz. yapılandırılmış çıktı. BroadNet, Qwen3.8 27B’yi Körfez ve Mısır lehçelerinin anlaşıldığı testlerden geçirdiğini bildirir. BroadNet hiçbir model için lehçe tespiti doğruluğu yayımlamaz; bu yüzden güvenmeden önce kendi mesajlarınızdan 100 kadarını elle etiketleyin ve modeli bunlara göre ölçün.
Arapça metin sınıflandırma yazısı bu tür görevler için istemleri, etiket listelerini ve puanlamayı ele alır; lehçeli Arapça da etiketlerin ne anlama geldiğini açıklar.