BroadRouter
Loslegen

Arabische Textnormalisierung (text normalization)

Aktualisiert

Arabische Textnormalisierung ist der Schritt, der Schreibvarianten desselben Worts vor dem Abgleich auf eine Form abbildet: Diakritika und Tatweel entfernen, Alef-Formen vereinheitlichen und oft ى auf ي sowie ة auf ه abbilden. Sie wird auf Suchschlüssel und Evaluierung angewendet, nicht auf angezeigten Text.

Auch genannt: arabische Normalisierung, Alef-Normalisierung, orthografische Normalisierung, Arabic text normalization, Arabic normalization, alef normalization, orthographic normalization, tatweel, kashida, alef variants

Arabische Nutzer tippen dasselbe Wort auf mehrere Arten. Normalisierung sorgt dafür, dass diese Schreibweisen zueinander passen.

So funktioniert es

Normalisierung ist eine Reihe von Zeichenersetzungen, die auf gespeicherten Text und auf Anfragen angewendet werden. Der ArabicNormalizer von Apache Lucene, den viele Suchmaschinen nutzen, nennt fünf Regeln:

  1. Hamza auf Alef-Träger wird zu bloßem Alef;
  2. Teh marbuta (ة) wird zu Heh (ه);
  3. punktloses Yeh, Alef maksura (ى), wird zu Yeh (ي);
  4. Entfernen der Harakat (Diakritika);
  5. Entfernen von Tatweel, dem „Dehnungszeichen“.

CAMeL Tools bietet dieselben Ideen als einzelne Funktionen an. normalize_alef_ar bildet إ أ ٱ آ (U+0625, U+0623, U+0671, U+0622) auf ا ab, normalize_alef_maksura_ar bildet ى auf ي ab, und normalize_teh_marbuta_ar bildet ة auf ه ab. normalize_unicode führt standardmäßig NFKC aus; das ist Unicode-Normalisierung und sollte zuerst kommen.

Tatweel (U+0640, auch Kashida genannt) ist ein Verbindungszeichen, das der Unicode-Standard für den Blocksatz beschreibt: Zwischen Zeichen eingefügt, dehnt es eine Zeile. Es trägt keine Bedeutung, also sollten كتـــاب und كتاب übereinstimmen.

Ein Beispiel:

Eingabe Nach der Normalisierung Angewandte Regeln
إِسْلامٌ اسلام Diakritika, Alef
مدرسة مدرسه Teh marbuta
مستشفى مستشفي Alef maksura
كتـــاب كتاب Tatweel

Warum es wichtig ist

Larkey, Ballesteros und Connell (2002) normalisierten die arabische Nachrichtensammlung von TREC-2001, indem sie Satzzeichen, Diakritika und Nicht-Buchstaben entfernten und mehrere Buchstabenvarianten durch eine Form ersetzten. Allein die Normalisierung hob die einsprachige Average Precision von 0,194 auf 0,238. Ihr light8-Stemmer obendrauf erreichte 0,376.

Dasselbe gilt für:

  • RAG und Stichwortsuche. Eine ohne Hamza getippte Anfrage sollte ein Dokument finden, das mit Hamza geschrieben ist. Siehe arabische RAG-Suche.
  • Wortfehlerrate. Arabische ASR-Werte hängen davon ab, ob Referenzen und Transkripte gleich normalisiert wurden. Die Erklärung zur arabischen WER zeigt den Effekt.
  • Deduplizierung und Analytics. Wer Wörter oder Suchbegriffe von Nutzern ohne Normalisierung zählt, spaltet ein Wort in mehrere auf.

Der Preis sind zusammengelegte Wörter. Vereinheitlichtes Alef macht aus den unterschiedlichen Partikeln إن und أن denselben String, und die Regel ة zu ه legt كرة (Ball) mit كره (Hass) zusammen. Behandeln Sie die Regeln für Hamza und Taa marbuta als einstellbar.

Bei BroadNet Inference

Normalisierung läuft in Ihrem Code, nicht in der API. Die Chat- und Transkriptions-Endpoints von BroadNet nehmen Ihren Text oder Ihr Audio so, wie es kommt. Führen Sie zwei Kopien: das Original für Modell und Nutzer und einen normalisierten Schlüssel für den Abgleich.

Der kostenlose Normalisierer für arabischen Text wendet diese Regeln im Browser an, damit Sie sehen, was jede einzelne ändert. Der Leitfaden zur Normalisierung enthält getesteten Python-Code und eine Diskussion Regel für Regel.

Häufige Fehler

  • Dokumente normalisieren, Anfragen aber nicht, oder umgekehrt.
  • Den normalisierten Text Nutzern anzeigen oder zitieren.
  • Bibliotheken mit unterschiedlichen Regeln mischen, etwa zwei verschiedene Abbildungen für ى.

Häufige Fragen

Hilft Normalisierung auch bei der Suche mit Embeddings?

Die klassischen Ergebnisse wurden bei der Stichwortsuche gemessen. Testen Sie bei Embeddings normalisierte und unveränderte Eingaben mit Ihren eigenen Anfragen, bevor Sie sich entscheiden.

Sollte ich Text normalisieren, bevor ich ihn an ein LLM sende?

Meist nicht. Senden Sie das Original, damit das Modell die echte Schreibweise, Hamza und Diakritika sieht. Normalisieren Sie nur die Kopien, die Sie abgleichen, indexieren oder bewerten.

Wenden alle Bibliotheken dieselben Regeln an?

Nein. CAMeL Tools und Lucene bilden beide Alef maksura auf Yeh und Teh marbuta auf Heh ab, andere Bibliotheken weichen ab. Wählen Sie ein Regelset und verwenden Sie es für Dokumente und Anfragen gleichermaßen.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen