Arapça aynı kelimenin birkaç şekilde yazılmasına izin verir. Kullanıcı احمد yazar; belgede أَحْمَد geçer. Karakterleri birebir karşılaştıran bir arama dizini bu eşleşmeyi kaçırır; bir RAG hattının anahtar kelime yarısı da öyle. Normalleştirme, varyantları karşılaştırmadan önce tek bir biçime eşleyerek bunu düzeltir. Özensiz yapılırsa farklı anlamlara gelen kelimeleri de birleştirir. Bu yazı kural kural ilerliyor: her birinin ne yaptığı, ne zaman uygulanacağı, neyi bozduğu ve başlıca kütüphanelerin nasıl farklılaştığı. Sonunda test edilmiş Python kodu var.
Arapça RAG hattının tamamı (parçalama, hibrit arama, kaynak gösteren yanıtlar) için bkz. işe yarayan Arapça RAG. Bu yazı normalleştirme adımına daha derinlemesine iniyor.
Normalleştirme erişime gerçekten yardımcı olur mu?
Evet, anahtar kelime araması için; kanıt eski ama net. Larkey, Ballesteros ve Connell (SIGIR 2002), Arapça erişimi TREC-2001 haber ajansı koleksiyonunda test etti. Kök bulmadan önce derlemi ve sorguları normalleştirdiler: harekeleri ve noktalamayı sildiler, elif biçimlerini birleştirdiler, kelime sonundaki ى ve ة’yi eşlediler. Genişletilmemiş sorgularla tek dilli sonuçları:
| İşleme | Ortalama kesinlik | Ham metne göre değişim (yuvarlanmış rakamlardan) |
|---|---|---|
| Ham metin | 0,194 | — |
| Normalleştirilmiş | 0,238 | +%22,7 |
| Normalleştirilmiş + hafif kök bulma (light8) | 0,376 | +%93,8 |
İki uyarı. Bu, haberler üzerinde 2002 tarihli anahtar kelime erişimi; embedding araması değil. En büyük kazanım ise normalleştirmeden ayrı bir adım olan hafif kök bulmadan (و ve ال gibi önekleri ve yaygın sonekleri silmek) geldi. Lucene’in ArabicAnalyzer’ı ve Elasticsearch’ün arabic analizörü ikisini de uygular: önce bir normalleştirici, sonra hafif bir kök bulucu.
Neyi normalleştirmelisiniz ve her kuralın bedeli ne?
| Kural | Örnek | Arama dizini | Risk |
|---|---|---|---|
| Unicode NFKC | ﻻ → لا, ا + ٔ → أ | Evet, her zaman ilk adım | Diğer yazı sistemlerindeki uyumluluk karakterlerini de yeniden yazar |
| Görünmez işaretleri silme | sıfır genişlikli birleştiriciler, RLM/LRM, BOM | Evet | Arapça için yok; ZWNJ Farsçada önemli |
| Teşkili silme | أَحْمَدُ → أحمد | Evet | Yalnızca ünlülerle ayırt edilen kelimeleri birleştirir |
| Tatvili (ـ) silme | الـــمدينة → المدينة | Evet | Yok |
| Elifi birleştirme | أ إ آ ٱ → ا | Evet | Birkaç çifti birleştirir: سأل (sordu) ve سال (aktı) |
| Elif maksûre | ى → ي | Genellikle | على (üzerinde) ile علي (Ali) birleşir |
| Tâ merbûta | ة → ه | Genellikle | كتابة (yazı) ile كتابه (onun kitabı) birleşir |
| Hemze oturakları | ؤ ئ → ء | İsteğe bağlı | مسؤول ile مسئول birleşir (iyi), ama bazı farklı kelimeler de |
| Farsça harfler | ی → ي, ک → ك | Evet, kullanıcılarda Farsça klavye varsa | Arapça metin için yok |
| Rakamlar | ٢٠٢٦ ve ۲۰۲۶ → 2026 | Evet | Yok; gösterim için orijinali tutun |
İlk sütun dizin anahtarı ve sorgu içindir. Sakladığınız, gösterdiğiniz ve modele verdiğiniz metin yazıldığı gibi kalır.
Unicode normalleştirmesi neden önce gelmeli?
Aynı görünen harf farklı biçimlerde saklanabilir. أ tek bir kod noktası (U+0623) ya da yalın elif ve ardından birleşen bir hemze (U+0627 U+0654) olabilir. Eski PDF’ler ve bazı klavyeler, tek karakterlik lam-elif ﻻ gibi Arapça sunum biçimleri (U+FB50 ile U+FEFF arası) üretir. Unicode normalleştirmesinde NFC hemzeyi elifin üzerine birleştirir, NFKC ise ayrıca sunum biçimlerini ve bitişik harfleri açar. Python’da unicodedata.normalize("NFKC", "ﻻ") لا döndürür ve ﷲ الله olur.
Bunu her şeyden önce çalıştırın. Aksi hâlde أ’yı değiştiren bir düzenli ifade ayrıştırılmış biçimi kaçırır. İkinci bir tuzak daha var: CAMeL Tools’un dediac_ar fonksiyonu kendi AR_DIAC_CHARSET kümesindeki karakterleri (U+064B ile U+0652 arası ve U+0670) siler. Bu küme birleşen hemze ve medde işaretlerini (U+0653 ile U+0655 arası) dışarıda bırakır; bu yüzden ayrıştırılmış metinde bunlar hareke silmeden sağ çıkar. NFKC onları önce birleştirir.
NFKC bir uyumluluk eşlemesidir. Arapça dışındaki karakterleri de değiştirir, örneğin tam genişlikli Latin harflerini. Bir arama anahtarında genellikle istediğiniz budur; orijinali yanında tutmanız için de bir neden daha.
Neyi normalleştirmemelisiniz?
- Gösterdiğiniz, kaynak gösterdiğiniz ya da alıntıladığınız metni. Normalleştirilmiş Arapça yanlış yazılmış gibi görünür (المدينه). Orijinali anahtarın yanında saklayın.
- LLM’e gönderdiğinizi. Modeller hemzeyi ve teşkili sorunsuz okur; birebir metin adları ve alıntıları doğru tutar. Teşkili silmek biraz token kazandırır; doğruluktan taviz vermeden önce ne kadar kazandırdığını Arapça token sayacıyla kontrol edin.
- İşaretlerin anlam taşıdığı metni: Kur’an, hadis, şiir, çocuk kitapları, telaffuz ve hareke ekleme görevleri (bkz. LLM ile hareke ekleme).
- Yazım ya da dil bilgisi düzeltmesini: önce normalleştirmek, düzeltmek istediğiniz hemze ve tâ merbûta hatalarını siler; bkz. LLM ile Arapça dil bilgisi ve yazım düzeltme.
- Tanımlayıcıları. Ürün kodları, e-postalar, URL’ler ve Latin harfli metin Arapça kurallardan geçmemeli. Normalleştirmeyi yalnızca Arap harfli alanlara ya da yalnızca Arapça token’lara uygulayın.
- İnsanların birebir aradığı alanları. Resmî adlar ya da kimlik benzeri alanlar için ham bir kopyayı da dizinleyin; böylece birebir eşleşme yine en üstte çıkabilir.
CAMeL Tools, PyArabic ve Lucene nasıl farklılaşıyor?
Aynı kuralları uygulamıyorlar; bunları karıştırmak hiçbir zaman eşleşmeyen bir dizin ve sorgular üretir. Her kütüphanenin dokümantasyonunu ve kaynak kodunu okuduk ve PyArabic 0.6.15’i çalıştırdık:
| Fonksiyon | Gerçekte ne yapıyor |
|---|---|
CAMeL normalize_unicode |
NFKC (ya da compatibility=False ile NFC); ayrıca ﷼‘yi ريال’e, ﷽‘yi tam ifadesine açar |
CAMeL normalize_alef_ar |
إ أ ٱ آ → ا |
CAMeL normalize_alef_maksura_ar |
ى → ي |
CAMeL normalize_teh_marbuta_ar |
ة → ه |
CAMeL dediac_ar |
U+064B ile U+0652 arasını ve U+0670’i siler; tatvili bırakır |
PyArabic strip_tashkeel |
Şedde dahil tüm harekeleri siler |
PyArabic strip_tatweel |
ـ’yi siler |
PyArabic normalize_alef |
Her elif biçimini ve ى’yı → ا yapar; böylece إلى, الا olur |
PyArabic normalize_hamza |
Varsayılan yöntem أ dahil her hemze biçimini ء’ya eşler; böylece أحمد, ءحمد olur |
Lucene ArabicNormalizer |
Elif üzerindeki hemzeli biçimler → ا, ة → ه, ى → ي, harekeleri ve tatvili siler |
PyArabic satırları insanları şaşırtıyor. normalize_alef fonksiyonunun docstring’i elif maksûrenin bir istisna olduğunu söylüyor, ama 0.6.15’te ALEFAT kümesi ى’yı içeriyor ve fonksiyon onu ا’ya eşliyor. normalize_hamza ise genel arama için değil, hemzeden bağımsız eşleştirme için yapılmış. Sıra da önemli: önce elif normalleştirmesini çalıştırırsanız normalize_hamza yalnızca ؤ, ئ ve ء’ya dokunur; böylece مسؤول ve مسئول ikisi de مسءول olur. tasheel yöntemi ise bunun yerine birbiriyle eşleşmeyen مسوول ve مسيول verir.
Elasticsearch’ün arabic_normalization filtresi Lucene normalleştiricisini kullanır; bu yüzden bir Elasticsearch diziniyle eşleşmesi gereken bir Python hattı Lucene’in kurallarını birebir kopyalamalıdır. Bu, ى → ا değil, ى → ي demektir.
Test edilmiş bir normalleştirici neye benzer?
Bu fonksiyon Lucene’in tercihlerini izler, Unicode, rakam ve Farsça harf işlemeyi ekler ve riskli kuralları açılıp kapatılabilir yapar. Yalnızca standart kütüphaneyi kullanır.
import re
import unicodedata
DIACRITICS = re.compile("[ً-ٰٟ]") # tashkeel, extra marks, superscript alef
INVISIBLE = re.compile("[---]") # zero-width, bidi
ALEF = re.compile("[آأإٱ]") # آ أ إ ٱ -> ا
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "0123456789" * 2)
FARSI = str.maketrans({"ی": "ي", "ک": "ك"}) # ی -> ي, ک -> ك
def normalize(text, *, alef=True, alef_maksura=True, ta_marbuta=True,
hamza_seats=False, digits=True):
text = unicodedata.normalize("NFKC", text) # compose marks, unpack ligatures
text = INVISIBLE.sub("", text)
text = DIACRITICS.sub("", text).replace("ـ", "") # tashkeel, tatweel
text = text.translate(FARSI)
if alef:
text = ALEF.sub("ا", text)
if alef_maksura:
text = text.replace("ى", "ي") # ى -> ي
if ta_marbuta:
text = text.replace("ة", "ه") # ة -> ه
if hamza_seats:
text = re.sub("[ؤئ]", "ء", text) # ؤ ئ -> ء
if digits:
text = text.translate(DIGITS)
return text
Test dizgilerimizde döndürdükleri:
| Girdi | Çıktı | Not |
|---|---|---|
| أَحْمَدُ | احمد | Teşkil ve hemze gitti |
| الـــمدينة | المدينه | Tatvil ve tâ merbûta |
| إلى | الي | Elif ve elif maksûre |
| ا + U+0654 + مل | امل | Ayrıştırılmış hemze tek karaktere birleşti, sonra elif yalınlaştırıldı |
| ﻻبد | لابد | Sunum biçimi açıldı |
| ٢٠٢٦ / ۱۴۰۵ | 2026 / 1405 | Arap-Hint ve Farsça rakamlar |
| مسؤول / مسئول | hamza_seats=True ile ikisi de مسءول |
Varsayılanda değişmez |
| فارسی | فارسي | Farsça yâ |
Bunu iki yerde kullanın: dizin anahtarını oluştururken ve bir sorguyu okurken. original ve normalize(original) değerlerini yan yana saklayın, ikincisinde arayın, birincisini döndürün. Ücretsiz Arapça metin normalleştirici, ayarlarınızı seçmeden önce metin yapıştırıp her kuralın etkisini görmenizi sağlar.
Normalleştirme embedding’lere ve RAG’a nasıl oturur?
Bir RAG hattında genellikle iki erişici bulunur: anahtar kelime araması (BM25) ve embedding’ler. Normalleştirme anahtar kelime tarafına açıkça yardımcı olur. Embedding tarafında yukarıdaki kanıt geçerli değil: embedding modelleri ham metinle eğitilir ve çoğu احمد ile أحمد’i zaten birbirine yakın yerleştirir. Embedding’den önce normalleştirmek yardımcı olabilir, hiçbir şey değiştirmeyebilir ya da zarar verebilir. Yanıtı bilinen 50 ila 100 gerçek sorgu oluşturun, bunları ham ve normalleştirilmiş girdiyle çalıştırın ve hangisi daha çok buluyorsa onu tutun. Hangisini seçerseniz seçin, belgelere ve sorgulara birebir aynı şekilde uygulayın.
Normalleştirme token sayısını da biraz düşürür, çünkü harekeler ve tatvil tokenizer için ek karakterlerdir. Ölçülmüş oranlar tokenizer verimliliği veri setinde ve Arapçada kelime başına token yazısında. Aynı normalleştirme konuşma tanımayı adil puanlamak için de kullanılır; bkz. Arapça WER’in açıklaması.
Arabizi (Latin harfleriyle Arapça) bambaşka bir yaklaşım ister: LLM’ler Arabizi’yi nasıl ele alıyor.
BroadNet Inference nerede devreye girer?
Normalleştirme kendi kodunuzda çalışır; bunun için API gerekmez. BroadNet Inference erişimden sonra devreye girer. Embedding satmıyor; bu yüzden seçtiğiniz bir erişiciyi ve embedding sağlayıcısını, yanıt adımı için bir BroadNet sohbet modeliyle eşleştirin. GLM 5.3 ve DeepSeek V4.1 Flash 1.048.576 token bağlam alır; böylece erişilen birçok pasajı orijinal, normalleştirilmemiş Arapçalarıyla gönderebilirsiniz. Arapça kalitesine göre model seçimi için bkz. Arapça için LLM seçimi. Yalnızca anahtar kelime aramasına ihtiyacınız varsa Elasticsearch’ün yerleşik arabic analizörü yeterli olabilir.
