Arapça kullanıcılar aynı kelimeyi birkaç farklı şekilde yazar. Normalizasyon bu yazımları eşleştirir.
Nasıl çalışır
Normalizasyon, hem saklanan metne hem sorgulara uygulanan bir karakter dönüşümleri kümesidir. Birçok arama motorunda kullanılan Apache Lucene ArabicNormalizer beş kural listeler:
- elif taşıyıcılı hemzeyi çıplak elife çevirmek;
- teh marbutayı (ة) he’ye (ه) çevirmek;
- noktasız ye’yi, yani elif maksurayı (ى), ye’ye (ي) çevirmek;
- harakat’ı (harekeleri) silmek;
- “uzatma karakteri” tatweel’i silmek.
CAMeL Tools aynı fikirleri ayrı fonksiyonlar olarak sunar. normalize_alef_ar, إ أ ٱ آ (U+0625, U+0623, U+0671, U+0622) karakterlerini ا’ya; normalize_alef_maksura_ar, ى’yı ي’ye; normalize_teh_marbuta_ar da ة’yı ه’ye çevirir. normalize_unicode varsayılan olarak NFKC çalıştırır; bu Unicode normalizasyonudur ve önce gelmelidir.
Tatweel (U+0640, kashida da denir), Unicode Standardı’nın satır iki yana yaslama için tanımladığı bir birleştirme karakteridir: karakterlerin arasına eklendiğinde satırı uzatır. Anlam taşımaz; bu yüzden كتـــاب ile كتاب eşleşmelidir.
Bir örnek:
| Girdi | Normalizasyondan sonra | Kullanılan kurallar |
|---|---|---|
| إِسْلامٌ | اسلام | harekeler, elif |
| مدرسة | مدرسه | teh marbuta |
| مستشفى | مستشفي | elif maksura |
| كتـــاب | كتاب | tatweel |
Neden önemli
Larkey, Ballesteros ve Connell (2002), TREC-2001 Arapça haber ajansı koleksiyonunu noktalama işaretlerini, harekeleri ve harf olmayan karakterleri silerek ve birkaç harf varyantını tek biçimle değiştirerek normalize etti. Yalnızca normalizasyon, tek dilli ortalama kesinliği .194’ten .238’e çıkardı. Üstüne eklenen light8 kök bulucuları .376’ya ulaştı.
Aynı durum şunlar için de geçerlidir:
- RAG ve anahtar kelime araması. Hemzesiz yazılan bir sorgu, hemzeyle yazılmış bir belgeyi bulmalıdır. Bkz. Arapça RAG araması.
- Kelime hata oranı. Arapça ASR puanları, referansların ve transkriptlerin aynı şekilde normalize edilip edilmediğine bağlıdır. Arapça WER açıklaması etkisini gösterir.
- Tekilleştirme ve analitik. Normalizasyon olmadan kelimeleri veya kullanıcı terimlerini saymak tek bir kelimeyi birkaç parçaya böler.
Bedeli birleşen kelimelerdir. Elifi birleştirmek, farklı edatlar olan إن ile أن’yi aynı dizeye dönüştürür; ة’dan ه’ye kuralı da كرة (top) ile كره’yi (nefret) birleştirir. Hemze ve teh marbuta kurallarını ayarlanabilir kabul edin.
BroadNet Inference’ta
Normalizasyon API’de değil, sizin kodunuzda çalışır. BroadNet’in sohbet ve transkripsiyon uç noktaları metninizi veya sesinizi olduğu gibi alır. İki kopya tutun: model ve kullanıcı için orijinal, eşleştirme için normalize edilmiş bir anahtar.
Ücretsiz Arapça metin normalleştirici bu kuralları tarayıcıda uygular; böylece her birinin neyi değiştirdiğini görebilirsiniz. Normalizasyon rehberi test edilmiş Python kodu ve kural kural bir tartışma içerir.
Sık yapılan hatalar
- Belgeleri normalize edip sorguları etmemek ya da tersi.
- Normalize edilmiş metni kullanıcılara göstermek veya alıntılamak.
- Kuralları farklı olan kütüphaneleri karıştırmak, örneğin ى için iki farklı eşleme.