LLM’ler Körfez ve Mısır Arapçasını genellikle yazdıklarından daha iyi anlar ve daha nadir lehçelerde daha kötü performans gösterir. Riyad’daki, Kahire’deki ve Beyrut’taki bir müşteri “ne istiyorsun?” sorusunu üç farklı cümleyle sorabilir ve Modern Standart Arapçayı (MSA) iyi işleyen bir model yine de onları yanlış okuyabilir. Anlamayı ve yazmayı ayrı ayrı test edin.
Bu yazı büyük lehçe grupları arasında neyin değiştiğini, LLM’lerin nerede hata yapma eğiliminde olduğunu ve bir modeli gerçek müşterilere emanet etmeden önce nasıl test edeceğinizi ele alıyor.
Lehçeler gerçekte ne kadar farklı?
Gündelik kelimelerde çok farklı, resmî kelime dağarcığında çok daha yakın. Araştırma derlemleri ölçeği gösteriyor: MADAR derlemi aynı seyahat cümlelerini 25 Arap şehrinin lehçelerine çevirdi. Tablo birkaç yaygın ifadeyi gösteriyor. MSA sütunu bir ders kitabının basacağı biçim; diğerleri tipik konuşma ve mesajlaşma biçimleri. Yazım kişiden kişiye değişiyor; sorunun bir kısmı da bu.
| Anlam | MSA | Körfez (Suudi / Emirlik) | Mısır | Levant |
|---|---|---|---|---|
| Ne istiyorsun? | ماذا تريد؟ | وش تبي؟ / شو تبي؟ | عايز إيه؟ | شو بدّك؟ |
| Nasılsın? | كيف حالك؟ | شلونك؟ | إزيك؟ | كيفك؟ |
| şimdi | الآن | الحين | دلوقتي | هلّق |
| Bilmiyorum | لا أعرف | ما أدري | مش عارف | ما بعرف |
| çok | جداً | وايد | أوي | كتير |
LLM’ler için üç örüntü önemli:
- İşlev kelimeleri değişir. Soru kelimeleri, olumsuzluk ve “istemek” lehçeler arasında tamamen farklıdır. Bunlar cümlenin anlamını belirleyen kısa, sık kelimelerdir; birini yanlış okumak niyeti tersine çevirir.
- Yazım standart değildir. Lehçeler çoğunlukla konuşulur, bu yüzden insanlar onları duyuldukları gibi yazar. Aynı kelime farklı harflerle, hemzeli ya da hemzesiz veya Latin harfleriyle (Arabizi) görünebilir.
- Code-switching olağandır. Körfez’deki iş mesajları İngilizce ürün adları içerir; Levant ve Mağrip konuşanları Fransızca karıştırır. Bir modelin tek cümlede iki yazıyla da başa çıkması gerekir.
LLM’ler Arapça lehçelerde nerede hata yapıyor?
Modeller gördükleri metinden öğrenir ve Emirlik ya da Sudan Arapçası gibi küçük lehçeler için Modern Standart Arapçaya kıyasla çok daha az herkese açık metin var. Pratikte bu, tekrarlayan birkaç hata olarak ortaya çıkıyor:
- Bir lehçe kelimesini farklı bir MSA kelimesi olarak okumak. Körfez’deki “أبي” (istiyorum), MSA’daki “أبي” (babam) ile aynı görünür. Bağlam genellikle bunu çözer, ama küçük modeller bazen çözemez.
- Yanlış niyete yanıt vermek. “الطلب لسه موصلش” (sipariş hâlâ gelmedi) gibi kısa bir Mısır şikâyeti, modelin “لسه”nin “hâlâ” demek olduğunu ve “موصلش”in olumsuz bir fiil olduğunu bilmesini gerektirir.
- Karışık bir lehçe yazmak. “Körfez Arapçasıyla” yanıt vermesi istendiğinde daha zayıf modeller, anadili Arapça olan hiç kimsenin yazmayacağı bir Mısır, Levant ve MSA karışımı üretir. Bu, yanlış anlamaktan daha yaygındır.
- Aşırı düzeltmek. Bazı modeller, alıntılamalarını istediğinizde müşterinin lehçesini MSA’ya “düzeltir”; bu da çıkarım görevlerini bozar.
Genel kural: modeller lehçeleri yazdıklarından daha iyi anlar. Ürününüzü buna göre planlayın.
BroadNet Arapça lehçelerde neyi test etti?
BroadNet kendi Arapça denetimini fiyatlar sayfasında yayımlıyor. Qwen3.8 27B için şunları bildiriyor:
- akıcı Arapça yazım,
- Körfez ve Mısır lehçelerini anlama,
- doğru Arapça–İngilizce çeviri.
BroadNet’in söylediği bu kadar, fazlası değil. Bir Levant, Irak ya da Mağrip sonucu ve bir lehçe yazım puanı yayımlamıyor. Levantlı müşteriler sizin için önemliyse, onları aşağıdaki yöntemle kendiniz test edin.
Qwen3.8 27B metin ve görsel alır, araçları ve yapılandırılmış çıktıyı destekler, yanıt vermeden önce akıl yürütür ve 262.144 token’lık bir bağlama sahiptir. 1M token başına girdi için $0.175, çıktı için $2.17 tutar. Diğer sohbet modellerini fiyatlar sayfasında karşılaştırın; yazım, çeviri ve belgeleri de kapsayan daha geniş kontrol listesi için Arapça için LLM API seçimi yazısına bakın.
Belirli bir lehçe için LLM’e nasıl istem yazılır?
Hangi lehçeyi beklediğinizi, hangisiyle yanıt istediğinizi ve ne kadar resmî olunacağını söyleyin. Suudi bir perakende gelen kutusu için iyi çalışan bir sistem istemi:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
system = (
"You are a customer-service assistant for a Saudi online store. "
"Customers write in Gulf Arabic (often Saudi), MSA, English or Arabizi. "
"Understand all of them. Reply in simple, polite Modern Standard Arabic, "
"in two or three short sentences. If the customer writes in English, reply in English. "
"Never invent order details."
)
response = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
max_tokens=2000, # the model reasons first; leave room for the answer
messages=[
{"role": "system", "content": system},
{"role": "user", "content": "السلام عليكم، طلبي للحين ما وصل، وش السالفة؟"},
],
)
print(response.choices[0].message.content)
Müşteri mesajı Körfez Arapçası: “Merhaba, siparişim hâlâ gelmedi, ne oluyor?” “للحين” (hâlâ) ve “وش السالفة” (mesele ne / ne oluyor) kelimeleri Körfez biçimleridir. İyi bir yanıt, gecikmeyi MSA ile kabul eder ve sipariş numarasını sorar.
İşe yarayan birkaç istem alışkanlığı daha:
- Yalnızca bölgeyi değil, ülkeyi de belirtin. “Körfez Arapçası” birbirinden farklı olan Suudi, Emirlik, Kuveyt, Katar, Bahreyn ve Umman konuşmasını kapsar. Pazarı biliyorsanız söyleyin.
- Çıkarım görevlerinde bir lehçe etiketi isteyin. Yönlendirme ya da analiz için modelin yapılandırılmış çıktı kullanarak
{"dialect": "gulf" | "egyptian" | "levantine" | "msa" | "other", "intent": ...}döndürmesini sağlayın. Müşterilerinizin kim olduğunu öğrenmenin ucuz bir yolu. - Talimatları tek bir dilde tutun. Arapça içerikle İngilizce talimatlar çoğu modelde iyi çalışır. Arapça talimatlar da çalışır; ikisini tek bir sistem isteminde karıştırmak dil düzeyini bulanıklaştırma eğilimindedir. Daha fazlası Arapça istem mühendisliği yazısında.
Lehçeyle yanıt vermeli misiniz?
Çoğu işletme için hayır. Sade MSA (bazen “beyaz” ya da nötr Arapça denir) her Arapça okuyucu tarafından anlaşılır, profesyonel okunur ve yanlış ülkeden geliyormuş gibi duyulan bir yanıt riskini önler. Lehçeyle yanıtlar; resmî olmayan markalar, tek bir pazar için yazılmış pazarlama metinleri ve MSA’nın katı duyulduğu sesli ürünler için anlamlıdır. Bu yolu seçerseniz, tam o lehçeyi anadili olarak konuşan kişilere her hafta bir çıktı örneklemini inceletin.
Lehçe başarısını bir günde nasıl test edersiniz?
- Gerçek mesajlar toplayın. Gelen kutunuzdan, sohbet kayıtlarınızdan ya da yazıya dökülmüş sesli mesajlarınızdan lehçe başına 30 ila 50 anonimleştirilmiş mesaj alın. Adları, telefon numaralarını ve sipariş numaralarını çıkarın.
- Niyeti etiketleyin. Her mesaj için doğru niyeti ve modelin çıkarması gereken olguları (sipariş numarası, ürün, tarih) yazın.
- Anlamayı test edin. Her aday modelden niyeti ve alanları JSON olarak döndürmesini isteyin. Tam eşleşmeleri puanlayın. Yönlendirmenin çalışıp çalışmadığına karar veren sayı budur.
- Yazmayı test edin. Lehçe başına on mesaj için bir yanıt isteyin. Anadili o lehçe olan birine her yanıtı doğruluk, ton ve doğallık açısından 1–3 arasında puanlatın. Konuşmadığınız bir lehçeyi puanlamayın.
- Maliyeti ve hızı kontrol edin. Çağrı başına
usage.prompt_tokens,usage.completion_tokensve gecikmeyi kaydedin. Lehçe metin MSA’dan farklı tokenize edilebilir; bu yüzden tahmin etmek yerine ölçün. Ücretsiz Arapça token sayacı hızlı bir ilk tahmin verir. - Her model için tekrarlayın. Aynı seti Qwen3.8 27B, DeepSeek V4.1 Flash ve GLM 5.3 üzerinde çalıştırın. Üçü de aynı OpenAI uyumlu API’yi kullanır; yalnızca model kimliği değişir.
Qwen3.8 27B, DeepSeek V4.1 Flash ve GLM 5.3 bakiye yüklemesinden sonra çalışır; sohbet modelleri arasında ücretsiz $5 başlangıç kredisi yalnızca BroadNet Gemma 4 VL 26B modelini kapsar ve onu düşük maliyetli bir taban değeri olarak eklemeye değer. Yararlı bir sonuç çoğu zaman bölünmüş bir kurulumdur: anlama ve yönlendirme için bir model, yanıtlar ise MSA ile taslaklanır.
Sesli mesajlardaki lehçe ne olacak?
Müşterileriniz sesli mesaj gönderiyorsa, lehçeyle başa çıkma daha erken, konuşmadan metne adımında başlar. Bir transkripsiyon modeli bir lehçe kelimesini LLM onu görmeden yanlış duyabilir. BroadNet, BroadNet Transcribe Arabic için lehçede 23,4 kelime hata oranı, FLEURS okunmuş konuşmada ise 3,8 bildiriyor; bu sayıların ne anlama geldiği için Arapça WER nedir yazısına bakın. Her parçayı tek başına değil, sesli mesajdan yanıta tüm zinciri test edin.
