Hemze, doğru bir Arapça yazımı yaygın bir yazımdan en sık ayıran küçük işarettir. أحمد ve احمد okuyan biri için aynı isimdir, ama bir bilgisayar için farklı dizelerdir.
Nasıl çalışır
Unicode Standardı “the hamza may occur above or below other letters” (çeviri: hemze diğer harflerin üstünde veya altında bulunabilir) der ve taşıyıcı olarak elif, vav ve yeyi listeler. Taşıyıcılı her biçim tek bir önceden birleştirilmiş karakter olarak kodlanır:
| Karakter | Kod noktası | Unicode adı |
|---|---|---|
| ء | U+0621 | ARABIC LETTER HAMZA |
| أ | U+0623 | ARABIC LETTER ALEF WITH HAMZA ABOVE |
| إ | U+0625 | ARABIC LETTER ALEF WITH HAMZA BELOW |
| آ | U+0622 | ARABIC LETTER ALEF WITH MADDA ABOVE |
| ؤ | U+0624 | ARABIC LETTER WAW WITH HAMZA ABOVE |
| ئ | U+0626 | ARABIC LETTER YEH WITH HAMZA ABOVE |
Unicode ayrıca ayrıştırmalar da tanımlar: أ, ؤ ve ئ harflerinin her biri, temel harf ve ardından gelen U+0654 ARABIC HAMZA ABOVE ile kanonik olarak eşdeğerdir. Yani görünüşte aynı olan أ, bir veya iki kod noktası olarak gelebilir. NFC veya NFKC’ye Unicode normalizasyonu, ا + U+0654 dizisini yeniden tek U+0623 karakterine çevirir; bu yüzden herhangi bir hemze kuralından önce çalışmalıdır.
Klavyeyle yazılan metin hemzeyi her zaman yazmaz; bu yüzden aynı kelime أ, إ, آ veya çıplak ا ile görünebilir. Normalizasyonun hedeflediği değişkenlik budur. CAMeL Tools’un normalize_alef_ar fonksiyonu إ أ ٱ آ harflerini ا harfine eşler. Lucene’in ArabicNormalizer’ı “hamza with alef seat to a bare alef” (çeviri: elif taşıyıcılı hemzeyi çıplak elife) normalize eder.
Neden önemli
- Arama. Bir kullanıcı اسلام yazar, belgenizde ise إسلام geçer. Elif kuralı olmadan anahtar kelime araması bunu kaçırır. Bkz. Arapça metin normalizasyonu.
- Konuşma puanlaması. Open Universal Arabic ASR Leaderboard, WER’i “removing all punctuation as well as the diacritics, and normalizing characters with Hamzas and Maddas” (çeviri: tüm noktalama işaretlerini ve harekeleri kaldırıp hemzeli ve meddeli karakterleri normalize ettikten) sonra hesaplar. Kendi kelime hata oranınızı aynı adım olmadan puanlarsanız, bir hemzeyi atlayan doğru bir transkript yanlış sayılır ve sayılarınız leaderboard’unkilerle karşılaştırılamaz.
- Bedeli. Hemzeyi indirgemek, yalnızca hemzeyle ayrılan kelimeleri birleştirir. سأل (sordu) ve سال (aktı) fiillerinin ikisi de سال olur. إن ve أن edatlarının ikisi de ان olur. Çoğu arama için bu kabul edilebilir; yazım düzeltmesi veya hukuki metin için değildir.
BroadNet Inference’ta
BroadNet’in API’si metni değiştirmeden iletir; hemze işlemleri sizin kodunuzda gerçekleşir. BroadNet Transcribe Arabic transkriptleri sıradan Arapça metindir; bu yüzden puanlamadan önce hem referansınıza hem transkripte aynı normalizasyonu uygulayın. BroadNet’in belgelerinin önerdiği gibi language=ar gönderin. İstek, Arapça konuşmadan metne rehberinde yer alır.
Kullanıcı metnindeki hemzeyi düzeltmek için bir sohbet modeli yardımcı olabilir; yazım düzeltme yazısı yalnızca amaçlanan karakterlerin değiştiğini nasıl kontrol edeceğinizi gösterir. İndirgemenin dizelerinize ne yaptığını görmek için Arapça metin normalleştiricisini deneyin.