BroadRouter

Arama ve RAG için Arapça metin normalleştirme: neyi değiştirmeli?

BroadNet Inference ekibi · 7 dk okuma · Yayımlandı · Güncellendi

Arama ve RAG dizinleri için hem saklanan kopyayı hem de her sorguyu aynı şekilde normalleştirin: Unicode NFKC, teşkil ve tatvilin silinmesi, elif biçimlerinin birleştirilmesi, ى'nın ي'ye ve ة'nin ه'ye eşlenmesi, rakamların dönüştürülmesi. Gösterim ve LLM için orijinal metni saklayın. Hemze oturaklarını ve tâ merbûtayı ayarlanabilir tutun: bulma oranını artırırlar ama bazı farklı kelimeleri birleştirirler.

Arapça aynı kelimenin birkaç şekilde yazılmasına izin verir. Kullanıcı احمد yazar; belgede أَحْمَد geçer. Karakterleri birebir karşılaştıran bir arama dizini bu eşleşmeyi kaçırır; bir RAG hattının anahtar kelime yarısı da öyle. Normalleştirme, varyantları karşılaştırmadan önce tek bir biçime eşleyerek bunu düzeltir. Özensiz yapılırsa farklı anlamlara gelen kelimeleri de birleştirir. Bu yazı kural kural ilerliyor: her birinin ne yaptığı, ne zaman uygulanacağı, neyi bozduğu ve başlıca kütüphanelerin nasıl farklılaştığı. Sonunda test edilmiş Python kodu var.

Arapça RAG hattının tamamı (parçalama, hibrit arama, kaynak gösteren yanıtlar) için bkz. işe yarayan Arapça RAG. Bu yazı normalleştirme adımına daha derinlemesine iniyor.

Normalleştirme erişime gerçekten yardımcı olur mu?

Evet, anahtar kelime araması için; kanıt eski ama net. Larkey, Ballesteros ve Connell (SIGIR 2002), Arapça erişimi TREC-2001 haber ajansı koleksiyonunda test etti. Kök bulmadan önce derlemi ve sorguları normalleştirdiler: harekeleri ve noktalamayı sildiler, elif biçimlerini birleştirdiler, kelime sonundaki ى ve ة’yi eşlediler. Genişletilmemiş sorgularla tek dilli sonuçları:

İşleme Ortalama kesinlik Ham metne göre değişim (yuvarlanmış rakamlardan)
Ham metin 0,194 —
Normalleştirilmiş 0,238 +%22,7
Normalleştirilmiş + hafif kök bulma (light8) 0,376 +%93,8

İki uyarı. Bu, haberler üzerinde 2002 tarihli anahtar kelime erişimi; embedding araması değil. En büyük kazanım ise normalleştirmeden ayrı bir adım olan hafif kök bulmadan (و ve ال gibi önekleri ve yaygın sonekleri silmek) geldi. Lucene’in ArabicAnalyzer’ı ve Elasticsearch’ün arabic analizörü ikisini de uygular: önce bir normalleştirici, sonra hafif bir kök bulucu.

Neyi normalleştirmelisiniz ve her kuralın bedeli ne?

Kural Örnek Arama dizini Risk
Unicode NFKC ﻻ → لا, ا + ٔ → أ Evet, her zaman ilk adım Diğer yazı sistemlerindeki uyumluluk karakterlerini de yeniden yazar
Görünmez işaretleri silme sıfır genişlikli birleştiriciler, RLM/LRM, BOM Evet Arapça için yok; ZWNJ Farsçada önemli
Teşkili silme أَحْمَدُ → أحمد Evet Yalnızca ünlülerle ayırt edilen kelimeleri birleştirir
Tatvili (ـ) silme الـــمدينة → المدينة Evet Yok
Elifi birleştirme أ إ آ ٱ → ا Evet Birkaç çifti birleştirir: سأل (sordu) ve سال (aktı)
Elif maksûre ى → ي Genellikle على (üzerinde) ile علي (Ali) birleşir
Tâ merbûta ة → ه Genellikle كتابة (yazı) ile كتابه (onun kitabı) birleşir
Hemze oturakları ؤ ئ → ء İsteğe bağlı مسؤول ile مسئول birleşir (iyi), ama bazı farklı kelimeler de
Farsça harfler ی → ي, ک → ك Evet, kullanıcılarda Farsça klavye varsa Arapça metin için yok
Rakamlar ٢٠٢٦ ve ۲۰۲۶ → 2026 Evet Yok; gösterim için orijinali tutun

İlk sütun dizin anahtarı ve sorgu içindir. Sakladığınız, gösterdiğiniz ve modele verdiğiniz metin yazıldığı gibi kalır.

Unicode normalleştirmesi neden önce gelmeli?

Aynı görünen harf farklı biçimlerde saklanabilir. أ tek bir kod noktası (U+0623) ya da yalın elif ve ardından birleşen bir hemze (U+0627 U+0654) olabilir. Eski PDF’ler ve bazı klavyeler, tek karakterlik lam-elif ﻻ gibi Arapça sunum biçimleri (U+FB50 ile U+FEFF arası) üretir. Unicode normalleştirmesinde NFC hemzeyi elifin üzerine birleştirir, NFKC ise ayrıca sunum biçimlerini ve bitişik harfleri açar. Python’da unicodedata.normalize("NFKC", "ﻻ") لا döndürür ve ﷲ الله olur.

Bunu her şeyden önce çalıştırın. Aksi hâlde أ’yı değiştiren bir düzenli ifade ayrıştırılmış biçimi kaçırır. İkinci bir tuzak daha var: CAMeL Tools’un dediac_ar fonksiyonu kendi AR_DIAC_CHARSET kümesindeki karakterleri (U+064B ile U+0652 arası ve U+0670) siler. Bu küme birleşen hemze ve medde işaretlerini (U+0653 ile U+0655 arası) dışarıda bırakır; bu yüzden ayrıştırılmış metinde bunlar hareke silmeden sağ çıkar. NFKC onları önce birleştirir.

NFKC bir uyumluluk eşlemesidir. Arapça dışındaki karakterleri de değiştirir, örneğin tam genişlikli Latin harflerini. Bir arama anahtarında genellikle istediğiniz budur; orijinali yanında tutmanız için de bir neden daha.

Neyi normalleştirmemelisiniz?

  • Gösterdiğiniz, kaynak gösterdiğiniz ya da alıntıladığınız metni. Normalleştirilmiş Arapça yanlış yazılmış gibi görünür (المدينه). Orijinali anahtarın yanında saklayın.
  • LLM’e gönderdiğinizi. Modeller hemzeyi ve teşkili sorunsuz okur; birebir metin adları ve alıntıları doğru tutar. Teşkili silmek biraz token kazandırır; doğruluktan taviz vermeden önce ne kadar kazandırdığını Arapça token sayacıyla kontrol edin.
  • İşaretlerin anlam taşıdığı metni: Kur’an, hadis, şiir, çocuk kitapları, telaffuz ve hareke ekleme görevleri (bkz. LLM ile hareke ekleme).
  • Yazım ya da dil bilgisi düzeltmesini: önce normalleştirmek, düzeltmek istediğiniz hemze ve tâ merbûta hatalarını siler; bkz. LLM ile Arapça dil bilgisi ve yazım düzeltme.
  • Tanımlayıcıları. Ürün kodları, e-postalar, URL’ler ve Latin harfli metin Arapça kurallardan geçmemeli. Normalleştirmeyi yalnızca Arap harfli alanlara ya da yalnızca Arapça token’lara uygulayın.
  • İnsanların birebir aradığı alanları. Resmî adlar ya da kimlik benzeri alanlar için ham bir kopyayı da dizinleyin; böylece birebir eşleşme yine en üstte çıkabilir.

CAMeL Tools, PyArabic ve Lucene nasıl farklılaşıyor?

Aynı kuralları uygulamıyorlar; bunları karıştırmak hiçbir zaman eşleşmeyen bir dizin ve sorgular üretir. Her kütüphanenin dokümantasyonunu ve kaynak kodunu okuduk ve PyArabic 0.6.15’i çalıştırdık:

Fonksiyon Gerçekte ne yapıyor
CAMeL normalize_unicode NFKC (ya da compatibility=False ile NFC); ayrıca ﷼‘yi ريال’e, ﷽‘yi tam ifadesine açar
CAMeL normalize_alef_ar إ أ ٱ آ → ا
CAMeL normalize_alef_maksura_ar ى → ي
CAMeL normalize_teh_marbuta_ar ة → ه
CAMeL dediac_ar U+064B ile U+0652 arasını ve U+0670’i siler; tatvili bırakır
PyArabic strip_tashkeel Şedde dahil tüm harekeleri siler
PyArabic strip_tatweel ـ’yi siler
PyArabic normalize_alef Her elif biçimini ve ى’yı → ا yapar; böylece إلى, الا olur
PyArabic normalize_hamza Varsayılan yöntem أ dahil her hemze biçimini ء’ya eşler; böylece أحمد, ءحمد olur
Lucene ArabicNormalizer Elif üzerindeki hemzeli biçimler → ا, ة → ه, ى → ي, harekeleri ve tatvili siler

PyArabic satırları insanları şaşırtıyor. normalize_alef fonksiyonunun docstring’i elif maksûrenin bir istisna olduğunu söylüyor, ama 0.6.15’te ALEFAT kümesi ى’yı içeriyor ve fonksiyon onu ا’ya eşliyor. normalize_hamza ise genel arama için değil, hemzeden bağımsız eşleştirme için yapılmış. Sıra da önemli: önce elif normalleştirmesini çalıştırırsanız normalize_hamza yalnızca ؤ, ئ ve ء’ya dokunur; böylece مسؤول ve مسئول ikisi de مسءول olur. tasheel yöntemi ise bunun yerine birbiriyle eşleşmeyen مسوول ve مسيول verir.

Elasticsearch’ün arabic_normalization filtresi Lucene normalleştiricisini kullanır; bu yüzden bir Elasticsearch diziniyle eşleşmesi gereken bir Python hattı Lucene’in kurallarını birebir kopyalamalıdır. Bu, ى → ا değil, ى → ي demektir.

Test edilmiş bir normalleştirici neye benzer?

Bu fonksiyon Lucene’in tercihlerini izler, Unicode, rakam ve Farsça harf işlemeyi ekler ve riskli kuralları açılıp kapatılabilir yapar. Yalnızca standart kütüphaneyi kullanır.

import re
import unicodedata

DIACRITICS = re.compile("[ً-ٰٟ]")  # tashkeel, extra marks, superscript alef
INVISIBLE = re.compile("[​-‏‪-‮⁦-⁩]")  # zero-width, bidi
ALEF = re.compile("[آأإٱ]")    # آ أ إ ٱ -> ا
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "0123456789" * 2)
FARSI = str.maketrans({"ی": "ي", "ک": "ك"})  # ی -> ي, ک -> ك

def normalize(text, *, alef=True, alef_maksura=True, ta_marbuta=True,
              hamza_seats=False, digits=True):
    text = unicodedata.normalize("NFKC", text)     # compose marks, unpack ligatures
    text = INVISIBLE.sub("", text)
    text = DIACRITICS.sub("", text).replace("ـ", "")   # tashkeel, tatweel
    text = text.translate(FARSI)
    if alef:
        text = ALEF.sub("ا", text)
    if alef_maksura:
        text = text.replace("ى", "ي")    # ى -> ي
    if ta_marbuta:
        text = text.replace("ة", "ه")    # ة -> ه
    if hamza_seats:
        text = re.sub("[ؤئ]", "ء", text)  # ؤ ئ -> ء
    if digits:
        text = text.translate(DIGITS)
    return text

Test dizgilerimizde döndürdükleri:

Girdi Çıktı Not
أَحْمَدُ احمد Teşkil ve hemze gitti
الـــمدينة المدينه Tatvil ve tâ merbûta
إلى الي Elif ve elif maksûre
ا + U+0654 + مل امل Ayrıştırılmış hemze tek karaktere birleşti, sonra elif yalınlaştırıldı
ﻻبد لابد Sunum biçimi açıldı
٢٠٢٦ / ۱۴۰۵ 2026 / 1405 Arap-Hint ve Farsça rakamlar
مسؤول / مسئول hamza_seats=True ile ikisi de مسءول Varsayılanda değişmez
فارسی فارسي Farsça yâ

Bunu iki yerde kullanın: dizin anahtarını oluştururken ve bir sorguyu okurken. original ve normalize(original) değerlerini yan yana saklayın, ikincisinde arayın, birincisini döndürün. Ücretsiz Arapça metin normalleştirici, ayarlarınızı seçmeden önce metin yapıştırıp her kuralın etkisini görmenizi sağlar.

Normalleştirme embedding’lere ve RAG’a nasıl oturur?

Bir RAG hattında genellikle iki erişici bulunur: anahtar kelime araması (BM25) ve embedding’ler. Normalleştirme anahtar kelime tarafına açıkça yardımcı olur. Embedding tarafında yukarıdaki kanıt geçerli değil: embedding modelleri ham metinle eğitilir ve çoğu احمد ile أحمد’i zaten birbirine yakın yerleştirir. Embedding’den önce normalleştirmek yardımcı olabilir, hiçbir şey değiştirmeyebilir ya da zarar verebilir. Yanıtı bilinen 50 ila 100 gerçek sorgu oluşturun, bunları ham ve normalleştirilmiş girdiyle çalıştırın ve hangisi daha çok buluyorsa onu tutun. Hangisini seçerseniz seçin, belgelere ve sorgulara birebir aynı şekilde uygulayın.

Normalleştirme token sayısını da biraz düşürür, çünkü harekeler ve tatvil tokenizer için ek karakterlerdir. Ölçülmüş oranlar tokenizer verimliliği veri setinde ve Arapçada kelime başına token yazısında. Aynı normalleştirme konuşma tanımayı adil puanlamak için de kullanılır; bkz. Arapça WER’in açıklaması.

Arabizi (Latin harfleriyle Arapça) bambaşka bir yaklaşım ister: LLM’ler Arabizi’yi nasıl ele alıyor.

BroadNet Inference nerede devreye girer?

Normalleştirme kendi kodunuzda çalışır; bunun için API gerekmez. BroadNet Inference erişimden sonra devreye girer. Embedding satmıyor; bu yüzden seçtiğiniz bir erişiciyi ve embedding sağlayıcısını, yanıt adımı için bir BroadNet sohbet modeliyle eşleştirin. GLM 5.3 ve DeepSeek V4.1 Flash 1.048.576 token bağlam alır; böylece erişilen birçok pasajı orijinal, normalleştirilmemiş Arapçalarıyla gönderebilirsiniz. Arapça kalitesine göre model seçimi için bkz. Arapça için LLM seçimi. Yalnızca anahtar kelime aramasına ihtiyacınız varsa Elasticsearch’ün yerleşik arabic analizörü yeterli olabilir.

Sık sorulan sorular

Arapça metni dizinlemeden önce teşkili (harekeleri) silmeli miyim?

Arama için evet: sorguların ve modern metinlerin çoğunda hareke yoktur; aksi hâlde harekeli belgeler eşleşmez. Harekeleri dizin anahtarından ve sorgudan silin, gösterim için orijinal metni tutun; anlam taşıdıkları Kur'an, şiir veya telaffuz görevlerinde ise onları koruyun.

Tâ merbûta (ة), hâ'ya (ه) normalleştirilmeli mi?

Arama için genellikle evet, çünkü birçok kişi kelime sonunda ه yazar. Ancak bu, كتابة (yazı) ile كتابه (onun kitabı) gibi bazı çiftleri birleştirir. Bu çakışmalar alanınızda önemliyse ة'yi koruyun ve iki ayarı da test edin.

Elasticsearch'te Arapça normalleştirme ne yapar?

arabic_normalization token filtresi Lucene'in ArabicNormalizer'ını kullanır: elif üzerindeki hemzeli biçimleri yalın elife, tâ merbûtayı hâ'ya, elif maksûreyi yâ'ya çevirir, harekeleri ve tatvili siler. Yerleşik arabic analizörü buna durak kelimeleri ve bitişik harf-i tarifleri, bağlaçları, edatları ve yaygın sonekleri silen bir kök bulucu ekler.

Arapçayı normalleştirmek embedding aramasına yardımcı olur mu?

Bu kanıtlanmış değil. Ölçülmüş kazanımlar anahtar kelime erişiminden geliyor. Embedding modelleri ham metinden öğrenir ve çoğu zaman yazım varyantlarıyla başa çıkar; bu yüzden karar vermeden önce gerçek sorgulardan küçük bir set kurun ve bulma oranını normalleştirmeyle ve normalleştirme olmadan karşılaştırın.

Arapça metni bir LLM'e göndermeden önce normalleştirmeli miyim?

Genellikle hayır. Alıntılar, adlar ve kaynak gösterimleri birebir kalsın diye orijinal metni gönderin. Teşkili silmek biraz token kazandırır, ama bunu yalnızca görev işaretlere ihtiyaç duymuyorsa yapın.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor