BroadRouter
Başlayın

Arapça metin normalizasyonu (normalization)

Güncellendi

Arapça metin normalizasyonu, aynı kelimenin yazım varyantlarını eşleştirmeden önce tek bir biçime indiren adımdır: harekeleri ve tatweel'i siler, elif biçimlerini birleştirir ve çoğu zaman ى'yı ي'ye, ة'yı ه'ye çevirir. Gösterilen metne değil, arama anahtarlarına ve değerlendirmeye uygulanır.

Diğer adları: Arapça normalizasyon, Arapça metin normalleştirme, elif normalizasyonu, imla normalizasyonu, Arabic normalization, alef normalization, orthographic normalization, tatweel, kashida, alef variants

Arapça kullanıcılar aynı kelimeyi birkaç farklı şekilde yazar. Normalizasyon bu yazımları eşleştirir.

Nasıl çalışır

Normalizasyon, hem saklanan metne hem sorgulara uygulanan bir karakter dönüşümleri kümesidir. Birçok arama motorunda kullanılan Apache Lucene ArabicNormalizer beş kural listeler:

  1. elif taşıyıcılı hemzeyi çıplak elife çevirmek;
  2. teh marbutayı (ة) he’ye (ه) çevirmek;
  3. noktasız ye’yi, yani elif maksurayı (ى), ye’ye (ي) çevirmek;
  4. harakat’ı (harekeleri) silmek;
  5. “uzatma karakteri” tatweel’i silmek.

CAMeL Tools aynı fikirleri ayrı fonksiyonlar olarak sunar. normalize_alef_ar, إ أ ٱ آ (U+0625, U+0623, U+0671, U+0622) karakterlerini ا’ya; normalize_alef_maksura_ar, ى’yı ي’ye; normalize_teh_marbuta_ar da ة’yı ه’ye çevirir. normalize_unicode varsayılan olarak NFKC çalıştırır; bu Unicode normalizasyonudur ve önce gelmelidir.

Tatweel (U+0640, kashida da denir), Unicode Standardı’nın satır iki yana yaslama için tanımladığı bir birleştirme karakteridir: karakterlerin arasına eklendiğinde satırı uzatır. Anlam taşımaz; bu yüzden كتـــاب ile كتاب eşleşmelidir.

Bir örnek:

Girdi Normalizasyondan sonra Kullanılan kurallar
إِسْلامٌ اسلام harekeler, elif
مدرسة مدرسه teh marbuta
مستشفى مستشفي elif maksura
كتـــاب كتاب tatweel

Neden önemli

Larkey, Ballesteros ve Connell (2002), TREC-2001 Arapça haber ajansı koleksiyonunu noktalama işaretlerini, harekeleri ve harf olmayan karakterleri silerek ve birkaç harf varyantını tek biçimle değiştirerek normalize etti. Yalnızca normalizasyon, tek dilli ortalama kesinliği .194’ten .238’e çıkardı. Üstüne eklenen light8 kök bulucuları .376’ya ulaştı.

Aynı durum şunlar için de geçerlidir:

  • RAG ve anahtar kelime araması. Hemzesiz yazılan bir sorgu, hemzeyle yazılmış bir belgeyi bulmalıdır. Bkz. Arapça RAG araması.
  • Kelime hata oranı. Arapça ASR puanları, referansların ve transkriptlerin aynı şekilde normalize edilip edilmediğine bağlıdır. Arapça WER açıklaması etkisini gösterir.
  • Tekilleştirme ve analitik. Normalizasyon olmadan kelimeleri veya kullanıcı terimlerini saymak tek bir kelimeyi birkaç parçaya böler.

Bedeli birleşen kelimelerdir. Elifi birleştirmek, farklı edatlar olan إن ile أن’yi aynı dizeye dönüştürür; ة’dan ه’ye kuralı da كرة (top) ile كره’yi (nefret) birleştirir. Hemze ve teh marbuta kurallarını ayarlanabilir kabul edin.

BroadNet Inference’ta

Normalizasyon API’de değil, sizin kodunuzda çalışır. BroadNet’in sohbet ve transkripsiyon uç noktaları metninizi veya sesinizi olduğu gibi alır. İki kopya tutun: model ve kullanıcı için orijinal, eşleştirme için normalize edilmiş bir anahtar.

Ücretsiz Arapça metin normalleştirici bu kuralları tarayıcıda uygular; böylece her birinin neyi değiştirdiğini görebilirsiniz. Normalizasyon rehberi test edilmiş Python kodu ve kural kural bir tartışma içerir.

Sık yapılan hatalar

  • Belgeleri normalize edip sorguları etmemek ya da tersi.
  • Normalize edilmiş metni kullanıcılara göstermek veya alıntılamak.
  • Kuralları farklı olan kütüphaneleri karıştırmak, örneğin ى için iki farklı eşleme.

Sık sorulan sorular

Normalizasyon embedding aramasına da yardımcı olur mu?

Klasik sonuçlar anahtar kelime aramasında ölçüldü. Embedding'ler için karar vermeden önce normalize edilmiş ve ham girdiyi kendi sorgularınızla test edin.

Metni LLM'e göndermeden önce normalize etmeli miyim?

Genellikle hayır. Modelin gerçek yazımı, hemzeyi ve harekeleri görmesi için orijinali gönderin. Yalnızca eşleştirdiğiniz, indekslediğiniz veya puanladığınız kopyaları normalize edin.

Tüm kütüphaneler aynı kuralları mı uygular?

Hayır. CAMeL Tools ve Lucene elif maksurayı ye'ye, teh marbutayı he'ye çevirir ama diğer kütüphaneler farklıdır. Tek bir kural seti seçin ve hem belgelerde hem sorgularda kullanın.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor