BroadRouter
Başlayın

Hemze (hamza)

Güncellendi

Hemze (ء), Arapçada gırtlak durmasını gösteren harftir. Tek başına ya da bir taşıyıcı üzerinde yazılır: elif (أ إ), vav (ؤ) veya ye (ئ); آ ise elifi medde ile birleştirir. Klavyeyle yazılan metin bu konuda tutarsız olduğundan, arama motorları ve konuşma puanlaması elif biçimlerini çoğu zaman ا harfine indirger.

Diğer adları: hemze, hamza, hemze normalizasyonu, hemze biçimleri, hamzah, hamza normalization, hamza forms

Hemze, doğru bir Arapça yazımı yaygın bir yazımdan en sık ayıran küçük işarettir. أحمد ve احمد okuyan biri için aynı isimdir, ama bir bilgisayar için farklı dizelerdir.

Nasıl çalışır

Unicode Standardı “the hamza may occur above or below other letters” (çeviri: hemze diğer harflerin üstünde veya altında bulunabilir) der ve taşıyıcı olarak elif, vav ve yeyi listeler. Taşıyıcılı her biçim tek bir önceden birleştirilmiş karakter olarak kodlanır:

Karakter Kod noktası Unicode adı
ء U+0621 ARABIC LETTER HAMZA
أ U+0623 ARABIC LETTER ALEF WITH HAMZA ABOVE
إ U+0625 ARABIC LETTER ALEF WITH HAMZA BELOW
آ U+0622 ARABIC LETTER ALEF WITH MADDA ABOVE
ؤ U+0624 ARABIC LETTER WAW WITH HAMZA ABOVE
ئ U+0626 ARABIC LETTER YEH WITH HAMZA ABOVE

Unicode ayrıca ayrıştırmalar da tanımlar: أ, ؤ ve ئ harflerinin her biri, temel harf ve ardından gelen U+0654 ARABIC HAMZA ABOVE ile kanonik olarak eşdeğerdir. Yani görünüşte aynı olan أ, bir veya iki kod noktası olarak gelebilir. NFC veya NFKC’ye Unicode normalizasyonu, ا + U+0654 dizisini yeniden tek U+0623 karakterine çevirir; bu yüzden herhangi bir hemze kuralından önce çalışmalıdır.

Klavyeyle yazılan metin hemzeyi her zaman yazmaz; bu yüzden aynı kelime أ, إ, آ veya çıplak ا ile görünebilir. Normalizasyonun hedeflediği değişkenlik budur. CAMeL Tools’un normalize_alef_ar fonksiyonu إ أ ٱ آ harflerini ا harfine eşler. Lucene’in ArabicNormalizer’ı “hamza with alef seat to a bare alef” (çeviri: elif taşıyıcılı hemzeyi çıplak elife) normalize eder.

Neden önemli

  • Arama. Bir kullanıcı اسلام yazar, belgenizde ise إسلام geçer. Elif kuralı olmadan anahtar kelime araması bunu kaçırır. Bkz. Arapça metin normalizasyonu.
  • Konuşma puanlaması. Open Universal Arabic ASR Leaderboard, WER’i “removing all punctuation as well as the diacritics, and normalizing characters with Hamzas and Maddas” (çeviri: tüm noktalama işaretlerini ve harekeleri kaldırıp hemzeli ve meddeli karakterleri normalize ettikten) sonra hesaplar. Kendi kelime hata oranınızı aynı adım olmadan puanlarsanız, bir hemzeyi atlayan doğru bir transkript yanlış sayılır ve sayılarınız leaderboard’unkilerle karşılaştırılamaz.
  • Bedeli. Hemzeyi indirgemek, yalnızca hemzeyle ayrılan kelimeleri birleştirir. سأل (sordu) ve سال (aktı) fiillerinin ikisi de سال olur. إن ve أن edatlarının ikisi de ان olur. Çoğu arama için bu kabul edilebilir; yazım düzeltmesi veya hukuki metin için değildir.

BroadNet Inference’ta

BroadNet’in API’si metni değiştirmeden iletir; hemze işlemleri sizin kodunuzda gerçekleşir. BroadNet Transcribe Arabic transkriptleri sıradan Arapça metindir; bu yüzden puanlamadan önce hem referansınıza hem transkripte aynı normalizasyonu uygulayın. BroadNet’in belgelerinin önerdiği gibi language=ar gönderin. İstek, Arapça konuşmadan metne rehberinde yer alır.

Kullanıcı metnindeki hemzeyi düzeltmek için bir sohbet modeli yardımcı olabilir; yazım düzeltme yazısı yalnızca amaçlanan karakterlerin değiştiğini nasıl kontrol edeceğinizi gösterir. İndirgemenin dizelerinize ne yaptığını görmek için Arapça metin normalleştiricisini deneyin.

Sık sorulan sorular

Hemze bir harf mi, yoksa bir işaret mi?

İki görüş de var. Unicode ء (U+0621) karakterini ARABIC LETTER HAMZA adıyla bir harf olarak kodlar; ayrıca ayrıştırılmış biçimlerde kullanılan birleştirici bir HAMZA ABOVE (U+0654) karakteri de vardır.

ؤ ve ئ harflerini de normalize etmeli miyim?

Yaygın araçlar bunu varsayılan olarak yapmaz. CAMeL Tools'un elif kuralı ve Lucene'in kuralı yalnızca elif biçimlerini kapsar. Vav ve ye taşıyıcılarını da indirgemek bulma oranını (recall) daha da artırır ama daha fazla kelimeyi birleştirir; bunu kendi sorgularınızda test edin.

Bir LLM eksik hemzeleri düzeltir mi?

Yazım düzeltmesinin bir parçası olarak çoğu zaman düzeltebilir, ama başka hiçbir şeyi değiştirmediğini kontrol edin. Düzeltilmiş metni de normalize etmeden arama anahtarınız olarak kullanmayın.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor