Hamza ist das kleine Zeichen, das am häufigsten eine korrekte arabische Schreibung von einer verbreiteten trennt. أحمد und احمد sind für Lesende derselbe Name, für einen Computer aber verschiedene Strings.
So funktioniert es
Der Unicode-Standard sagt „the hamza may occur above or below other letters“ (Übersetzung: „die Hamza kann über oder unter anderen Buchstaben stehen“) und nennt Alif, Waw und Ya als Träger. Jede Form mit Träger ist als ein einzelnes vorkomponiertes Zeichen kodiert:
| Zeichen | Codepunkt | Unicode-Name |
|---|---|---|
| ء | U+0621 | ARABIC LETTER HAMZA |
| أ | U+0623 | ARABIC LETTER ALEF WITH HAMZA ABOVE |
| إ | U+0625 | ARABIC LETTER ALEF WITH HAMZA BELOW |
| آ | U+0622 | ARABIC LETTER ALEF WITH MADDA ABOVE |
| ؤ | U+0624 | ARABIC LETTER WAW WITH HAMZA ABOVE |
| ئ | U+0626 | ARABIC LETTER YEH WITH HAMZA ABOVE |
Unicode definiert außerdem Zerlegungen: أ, ؤ und ئ sind jeweils kanonisch äquivalent zum Grundbuchstaben gefolgt von U+0654 ARABIC HAMZA ABOVE. Dasselbe sichtbare أ kann also als ein Codepunkt oder als zwei ankommen. Die Unicode-Normalisierung nach NFC oder NFKC macht aus ا + U+0654 wieder das einzelne U+0623; deshalb sollte sie vor jeder Hamza-Regel laufen.
Getippter Text schreibt die Hamza nicht immer, sodass dasselbe Wort mit أ, إ, آ oder blankem ا auftauchen kann. Genau diese Variation zielt die Normalisierung an. normalize_alef_ar aus CAMeL Tools bildet إ أ ٱ آ auf ا ab. Der ArabicNormalizer von Lucene normalisiert „hamza with alef seat to a bare alef“ (Übersetzung: „Hamza auf Alif-Träger zu blankem Alif“).
Warum es wichtig ist
- Suche. Ein Nutzer tippt اسلام, und Ihr Dokument enthält إسلام. Ohne die Alif-Regel findet die Stichwortsuche es nicht. Siehe arabische Textnormalisierung.
- Bewertung von Spracherkennung. Das Open Universal Arabic ASR Leaderboard berechnet die WER nach „removing all punctuation as well as the diacritics, and normalizing characters with Hamzas and Maddas“ (Übersetzung: „Entfernen aller Satzzeichen und Diakritika sowie Normalisieren der Zeichen mit Hamzas und Maddas“). Wenn Sie Ihre eigene Wortfehlerrate ohne denselben Schritt berechnen, zählt ein korrektes Transkript, dem eine Hamza fehlt, als falsch, und Ihre Zahlen sind mit denen des Leaderboards nicht vergleichbar.
- Der Preis. Das Zusammenfassen der Hamza legt Wörter zusammen, die sich nur in der Hamza unterscheiden. Die Verben سأل (er fragte) und سال (es floss) werden beide zu سال. Die Partikeln إن und أن werden beide zu ان. Für die meisten Suchen ist das akzeptabel; für Rechtschreibkorrektur oder juristische Texte nicht.
Bei BroadNet Inference
Die API von BroadNet reicht Text unverändert durch; die Behandlung der Hamza geschieht in Ihrem Code. Transkripte von BroadNet Transcribe Arabic sind gewöhnlicher arabischer Text; wenden Sie also vor der Bewertung dieselbe Normalisierung auf Referenz und Transkript an. Senden Sie language=ar, wie die Dokumentation von BroadNet empfiehlt. Der Leitfaden zu arabischem Speech-to-Text enthält die Anfrage.
Beim Korrigieren der Hamza in Nutzertext kann ein Chat-Modell helfen; der Beitrag zur Rechtschreibkorrektur zeigt, wie Sie prüfen, dass sich nur die beabsichtigten Zeichen geändert haben. Was das Zusammenfassen mit Ihren Strings macht, zeigt der Normalisierer für arabischen Text.