Arabische Nutzer tippen dasselbe Wort auf mehrere Arten. Normalisierung sorgt dafür, dass diese Schreibweisen zueinander passen.
So funktioniert es
Normalisierung ist eine Reihe von Zeichenersetzungen, die auf gespeicherten Text und auf Anfragen angewendet werden. Der ArabicNormalizer von Apache Lucene, den viele Suchmaschinen nutzen, nennt fünf Regeln:
- Hamza auf Alef-Träger wird zu bloßem Alef;
- Teh marbuta (ة) wird zu Heh (ه);
- punktloses Yeh, Alef maksura (ى), wird zu Yeh (ي);
- Entfernen der Harakat (Diakritika);
- Entfernen von Tatweel, dem „Dehnungszeichen“.
CAMeL Tools bietet dieselben Ideen als einzelne Funktionen an. normalize_alef_ar bildet إ أ ٱ آ (U+0625, U+0623, U+0671, U+0622) auf ا ab, normalize_alef_maksura_ar bildet ى auf ي ab, und normalize_teh_marbuta_ar bildet ة auf ه ab. normalize_unicode führt standardmäßig NFKC aus; das ist Unicode-Normalisierung und sollte zuerst kommen.
Tatweel (U+0640, auch Kashida genannt) ist ein Verbindungszeichen, das der Unicode-Standard für den Blocksatz beschreibt: Zwischen Zeichen eingefügt, dehnt es eine Zeile. Es trägt keine Bedeutung, also sollten كتـــاب und كتاب übereinstimmen.
Ein Beispiel:
| Eingabe | Nach der Normalisierung | Angewandte Regeln |
|---|---|---|
| إِسْلامٌ | اسلام | Diakritika, Alef |
| مدرسة | مدرسه | Teh marbuta |
| مستشفى | مستشفي | Alef maksura |
| كتـــاب | كتاب | Tatweel |
Warum es wichtig ist
Larkey, Ballesteros und Connell (2002) normalisierten die arabische Nachrichtensammlung von TREC-2001, indem sie Satzzeichen, Diakritika und Nicht-Buchstaben entfernten und mehrere Buchstabenvarianten durch eine Form ersetzten. Allein die Normalisierung hob die einsprachige Average Precision von 0,194 auf 0,238. Ihr light8-Stemmer obendrauf erreichte 0,376.
Dasselbe gilt für:
- RAG und Stichwortsuche. Eine ohne Hamza getippte Anfrage sollte ein Dokument finden, das mit Hamza geschrieben ist. Siehe arabische RAG-Suche.
- Wortfehlerrate. Arabische ASR-Werte hängen davon ab, ob Referenzen und Transkripte gleich normalisiert wurden. Die Erklärung zur arabischen WER zeigt den Effekt.
- Deduplizierung und Analytics. Wer Wörter oder Suchbegriffe von Nutzern ohne Normalisierung zählt, spaltet ein Wort in mehrere auf.
Der Preis sind zusammengelegte Wörter. Vereinheitlichtes Alef macht aus den unterschiedlichen Partikeln إن und أن denselben String, und die Regel ة zu ه legt كرة (Ball) mit كره (Hass) zusammen. Behandeln Sie die Regeln für Hamza und Taa marbuta als einstellbar.
Bei BroadNet Inference
Normalisierung läuft in Ihrem Code, nicht in der API. Die Chat- und Transkriptions-Endpoints von BroadNet nehmen Ihren Text oder Ihr Audio so, wie es kommt. Führen Sie zwei Kopien: das Original für Modell und Nutzer und einen normalisierten Schlüssel für den Abgleich.
Der kostenlose Normalisierer für arabischen Text wendet diese Regeln im Browser an, damit Sie sehen, was jede einzelne ändert. Der Leitfaden zur Normalisierung enthält getesteten Python-Code und eine Diskussion Regel für Regel.
Häufige Fehler
- Dokumente normalisieren, Anfragen aber nicht, oder umgekehrt.
- Den normalisierten Text Nutzern anzeigen oder zitieren.
- Bibliotheken mit unterschiedlichen Regeln mischen, etwa zwei verschiedene Abbildungen für ى.