BroadRouter
Loslegen

Hamza

Aktualisiert

Hamza (ء) ist der arabische Buchstabe für den Knacklaut (Glottisschlag). Er steht allein oder auf einem Träger: Alif (أ إ), Waw (ؤ) oder Ya (ئ); آ verbindet Alif mit Madda. Weil getippter Text ihn uneinheitlich schreibt, fassen Suchmaschinen und Sprachbewertung die Alif-Formen oft zu ا zusammen.

Auch genannt: Hamza, Hamzah, Hamza-Formen, Hamza-Normalisierung, arabischer Knacklaut, hamza normalization, hamzah, hamza forms

Hamza ist das kleine Zeichen, das am häufigsten eine korrekte arabische Schreibung von einer verbreiteten trennt. أحمد und احمد sind für Lesende derselbe Name, für einen Computer aber verschiedene Strings.

So funktioniert es

Der Unicode-Standard sagt „the hamza may occur above or below other letters“ (Übersetzung: „die Hamza kann über oder unter anderen Buchstaben stehen“) und nennt Alif, Waw und Ya als Träger. Jede Form mit Träger ist als ein einzelnes vorkomponiertes Zeichen kodiert:

Zeichen Codepunkt Unicode-Name
ء U+0621 ARABIC LETTER HAMZA
أ U+0623 ARABIC LETTER ALEF WITH HAMZA ABOVE
إ U+0625 ARABIC LETTER ALEF WITH HAMZA BELOW
آ U+0622 ARABIC LETTER ALEF WITH MADDA ABOVE
ؤ U+0624 ARABIC LETTER WAW WITH HAMZA ABOVE
ئ U+0626 ARABIC LETTER YEH WITH HAMZA ABOVE

Unicode definiert außerdem Zerlegungen: أ, ؤ und ئ sind jeweils kanonisch äquivalent zum Grundbuchstaben gefolgt von U+0654 ARABIC HAMZA ABOVE. Dasselbe sichtbare أ kann also als ein Codepunkt oder als zwei ankommen. Die Unicode-Normalisierung nach NFC oder NFKC macht aus ا + U+0654 wieder das einzelne U+0623; deshalb sollte sie vor jeder Hamza-Regel laufen.

Getippter Text schreibt die Hamza nicht immer, sodass dasselbe Wort mit أ, إ, آ oder blankem ا auftauchen kann. Genau diese Variation zielt die Normalisierung an. normalize_alef_ar aus CAMeL Tools bildet إ أ ٱ آ auf ا ab. Der ArabicNormalizer von Lucene normalisiert „hamza with alef seat to a bare alef“ (Übersetzung: „Hamza auf Alif-Träger zu blankem Alif“).

Warum es wichtig ist

  • Suche. Ein Nutzer tippt اسلام, und Ihr Dokument enthält إسلام. Ohne die Alif-Regel findet die Stichwortsuche es nicht. Siehe arabische Textnormalisierung.
  • Bewertung von Spracherkennung. Das Open Universal Arabic ASR Leaderboard berechnet die WER nach „removing all punctuation as well as the diacritics, and normalizing characters with Hamzas and Maddas“ (Übersetzung: „Entfernen aller Satzzeichen und Diakritika sowie Normalisieren der Zeichen mit Hamzas und Maddas“). Wenn Sie Ihre eigene Wortfehlerrate ohne denselben Schritt berechnen, zählt ein korrektes Transkript, dem eine Hamza fehlt, als falsch, und Ihre Zahlen sind mit denen des Leaderboards nicht vergleichbar.
  • Der Preis. Das Zusammenfassen der Hamza legt Wörter zusammen, die sich nur in der Hamza unterscheiden. Die Verben سأل (er fragte) und سال (es floss) werden beide zu سال. Die Partikeln إن und أن werden beide zu ان. Für die meisten Suchen ist das akzeptabel; für Rechtschreibkorrektur oder juristische Texte nicht.

Bei BroadNet Inference

Die API von BroadNet reicht Text unverändert durch; die Behandlung der Hamza geschieht in Ihrem Code. Transkripte von BroadNet Transcribe Arabic sind gewöhnlicher arabischer Text; wenden Sie also vor der Bewertung dieselbe Normalisierung auf Referenz und Transkript an. Senden Sie language=ar, wie die Dokumentation von BroadNet empfiehlt. Der Leitfaden zu arabischem Speech-to-Text enthält die Anfrage.

Beim Korrigieren der Hamza in Nutzertext kann ein Chat-Modell helfen; der Beitrag zur Rechtschreibkorrektur zeigt, wie Sie prüfen, dass sich nur die beabsichtigten Zeichen geändert haben. Was das Zusammenfassen mit Ihren Strings macht, zeigt der Normalisierer für arabischen Text.

Häufige Fragen

Ist Hamza ein Buchstabe oder ein diakritisches Zeichen?

Beide Sichtweisen gibt es. Unicode kodiert ء (U+0621) als Buchstaben, ARABIC LETTER HAMZA, und hat zusätzlich ein kombinierendes HAMZA ABOVE (U+0654), das in zerlegten Formen verwendet wird.

Sollte ich ؤ und ئ ebenfalls normalisieren?

Gängige Tools tun das standardmäßig nicht. Die Alif-Regel von CAMeL Tools und die Regel von Lucene decken nur die Alif-Formen ab. Auch die Waw- und Ya-Träger zusammenzufassen erhöht den Recall weiter, legt aber mehr Wörter zusammen; testen Sie es mit Ihren Suchanfragen.

Korrigiert ein LLM fehlende Hamzas?

Oft ja, im Rahmen einer Rechtschreibkorrektur, aber prüfen Sie, dass es sonst nichts geändert hat. Verwenden Sie die korrigierte Fassung nicht als Suchschlüssel, ohne sie ebenfalls zu normalisieren.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen