BroadRouter

Arabische Textnormalisierung für Suche und RAG: was ändern, was nicht

Vom Team von BroadNet Inference · 7 Min. Lesezeit · Veröffentlicht · Aktualisiert

Für Suchindizes und RAG normalisieren Sie die gespeicherte Kopie und jede Anfrage auf dieselbe Weise: Unicode NFKC, Taschkil und Tatweel entfernen, Alif-Formen vereinheitlichen, ى auf ي und ة auf ه abbilden und Ziffern umwandeln. Behalten Sie den Originaltext für die Anzeige und für das LLM. Hamza-Träger und Taa marbuta sind einstellbar: Sie erhöhen den Recall, verschmelzen aber einige unterschiedliche Wörter.

Im Arabischen lässt sich dasselbe Wort auf mehrere Arten schreiben. Ein Nutzer tippt احمد, im Dokument steht أَحْمَد. Ein Suchindex, der exakte Zeichen vergleicht, verpasst diesen Treffer, und die Keyword-Hälfte einer RAG-Pipeline ebenso. Normalisierung behebt das, indem sie Varianten vor dem Vergleich auf eine Form abbildet. Unbedacht angewendet, verschmilzt sie aber auch Wörter mit unterschiedlicher Bedeutung. Dieser Beitrag geht Regel für Regel vor: was jede bewirkt, wann sie passt, was sie kaputt macht und wie sich die wichtigsten Bibliotheken unterscheiden. Am Ende steht getestetes Python.

Für die vollständige arabische RAG-Pipeline (Chunking, hybride Suche, Antworten mit Quellen) siehe Arabisches RAG, das funktioniert. Dieser Beitrag geht tiefer auf den Normalisierungsschritt ein.

Hilft Normalisierung dem Retrieval wirklich?

Ja, bei Keyword-Suche, und die Belege sind alt, aber eindeutig. Larkey, Ballesteros und Connell (SIGIR 2002) testeten arabisches Retrieval auf der Nachrichtensammlung von TREC-2001. Vor dem Stemming normalisierten sie Korpus und Anfragen: Diakritika und Satzzeichen entfernt, Alif-Formen vereinheitlicht, ى und ة am Wortende abgebildet. Ihre einsprachigen Ergebnisse mit nicht erweiterten Anfragen:

Verarbeitung Average Precision Änderung ggü. Rohtext (aus den gerundeten Werten)
Rohtext .194 —
Normalisiert .238 +22.7%
Normalisiert + Light Stemming (light8) .376 +93.8%

Zwei Einschränkungen. Das ist Keyword-Retrieval auf Nachrichten von 2002, keine Embedding-Suche. Und der größte Gewinn kam vom Light Stemming (Entfernen von Präfixen wie و und ال sowie häufiger Suffixe), einem von der Normalisierung getrennten Schritt. Lucenes ArabicAnalyzer und der Analyzer arabic von Elasticsearch wenden beides an: erst einen Normalisierer, dann einen Light Stemmer.

Was sollten Sie normalisieren, und was kostet jede Regel?

Regel Beispiel Suchindex Risiko
Unicode NFKC ﻻ → لا, ا + ٔ → أ Ja, immer zuerst Schreibt auch Kompatibilitätszeichen anderer Schriften um
Unsichtbare Zeichen entfernen Zero-Width-Joiner, RLM/LRM, BOM Ja Keins für Arabisch; ZWNJ ist im Persischen wichtig
Taschkil entfernen أَحْمَدُ → أحمد Ja Verschmilzt Wörter, die sich nur durch Vokale unterscheiden
Tatweel (ـ) entfernen الـــمدينة → المدينة Ja Keins
Alif vereinheitlichen أ إ آ ٱ → ا Ja Verschmilzt einige Paare: سأل (fragte) und سال (floss)
Alif maqsura ى → ي Meistens Verschmilzt على (auf) und علي (Ali)
Taa marbuta ة → ه Meistens Verschmilzt كتابة (Schreiben) und كتابه (sein Buch)
Hamza-Träger ؤ ئ → ء Optional Verschmilzt مسؤول und مسئول (gut), aber auch einige unterschiedliche Wörter
Persische Buchstaben ی → ي, ک → ك Ja, wenn Nutzer persische Tastaturen haben Keins für arabischen Text
Ziffern ٢٠٢٦ und ۲۰۲۶ → 2026 Ja Keins; behalten Sie das Original für die Anzeige

Die Spalte „Suchindex“ gilt für Indexschlüssel und Anfrage. Der Text, den Sie speichern, anzeigen und an das Modell übergeben, bleibt wie geschrieben.

Warum sollte die Unicode-Normalisierung zuerst kommen?

Derselbe sichtbare Buchstabe kann unterschiedlich gespeichert sein. أ kann ein Codepoint sein (U+0623) oder ein reines Alif gefolgt von einem kombinierenden Hamza (U+0627 U+0654). Ältere PDFs und manche Tastaturen erzeugen arabische Präsentationsformen (U+FB50 bis U+FEFF), etwa das Einzelzeichen Lam-Alif ﻻ. Bei der Unicode-Normalisierung setzt NFC das Hamza auf das Alif, und NFKC löst zusätzlich Präsentationsformen und Ligaturen auf. In Python liefert unicodedata.normalize("NFKC", "ﻻ") لا, und aus ﷲ wird الله.

Führen Sie das vor allem anderen aus. Sonst verfehlt ein regulärer Ausdruck, der أ ersetzt, die zerlegte Form. Es gibt eine zweite Falle: dediac_ar von CAMeL Tools entfernt die Zeichen in seinem AR_DIAC_CHARSET (U+064B bis U+0652 und U+0670). Dieses Set lässt die kombinierenden Zeichen für Hamza und Madda (U+0653 bis U+0655) aus, sodass sie in zerlegtem Text die Entfernung der Diakritika überstehen. NFKC setzt sie vorher zusammen.

NFKC ist eine Kompatibilitätsabbildung. Es ändert auch Zeichen außerhalb des Arabischen, zum Beispiel lateinische Buchstaben in voller Breite. In einem Suchschlüssel wollen Sie das meist, und es ist ein weiterer Grund, das Original daneben zu behalten.

Was sollten Sie nicht normalisieren?

  • Den Text, den Sie anzeigen, zitieren oder belegen. Normalisiertes Arabisch sieht falsch geschrieben aus (المدينه). Speichern Sie das Original neben dem Schlüssel.
  • Was Sie an das LLM senden. Modelle lesen Hamza und Taschkil problemlos, und exakter Text hält Namen und Zitate korrekt. Das Entfernen von Taschkil spart einige Tokens; prüfen Sie mit dem Token-Zähler für Arabisch, wie viele, bevor Sie dafür Genauigkeit opfern.
  • Text, in dem die Zeichen Bedeutung tragen: Koran, Hadith, Lyrik, Kinderbücher, Aussprache- und Diakritisierungsaufgaben (siehe Diakritika per LLM ergänzen).
  • Rechtschreib- oder Grammatikkorrektur: Wer vorher normalisiert, löscht genau die Hamza- und Taa-marbuta-Fehler, die behoben werden sollen; siehe Arabische Grammatik- und Rechtschreibkorrektur per LLM.
  • Bezeichner. Produktcodes, E-Mail-Adressen, URLs und lateinischer Text dürfen nicht durch arabische Regeln laufen. Normalisieren Sie nur Felder in arabischer Schrift oder nur arabische Tokens.
  • Felder, die exakt durchsucht werden. Für Rechtsnamen oder ID-artige Felder indexieren Sie zusätzlich eine Rohkopie, damit ein exakter Treffer weiterhin zuerst erscheint.

Wie unterscheiden sich CAMeL Tools, PyArabic und Lucene?

Sie implementieren nicht dieselben Regeln, und wer sie mischt, bekommt einen Index und Anfragen, die nie zusammenpassen. Wir haben Dokumentation und Quellcode jeder Bibliothek gelesen und PyArabic 0.6.15 ausgeführt:

Funktion Was sie tatsächlich tut
CAMeL normalize_unicode NFKC (oder NFC mit compatibility=False); expandiert außerdem ﷼ zu ريال und ﷽ zur vollständigen Formel
CAMeL normalize_alef_ar إ أ ٱ آ → ا
CAMeL normalize_alef_maksura_ar ى → ي
CAMeL normalize_teh_marbuta_ar ة → ه
CAMeL dediac_ar Entfernt U+064B bis U+0652 und U+0670; lässt Tatweel stehen
PyArabic strip_tashkeel Entfernt alle Harakat einschließlich Schadda
PyArabic strip_tatweel Entfernt ـ
PyArabic normalize_alef Jede Alif-Form und ى → ا, aus إلى wird also الا
PyArabic normalize_hamza Die Standardmethode bildet jede Hamza-Form auf ء ab, auch أ, aus أحمد wird also ءحمد
Lucene ArabicNormalizer Alif-Formen mit Hamza → ا, ة → ه, ى → ي, entfernt Harakat und Tatweel

Die PyArabic-Zeilen überraschen viele. Laut Docstring von normalize_alef ist Alif maqsura eine Ausnahme, aber in 0.6.15 enthält das Set ALEFAT das ى, und die Funktion bildet es auf ا ab. normalize_hamza ist für hamza-unabhängigen Abgleich gebaut, nicht für allgemeine Suche. Auch die Reihenfolge zählt: Führen Sie zuerst die Alif-Normalisierung aus, dann berührt normalize_hamza nur noch ؤ, ئ und ء, sodass مسؤول und مسئول beide zu مسءول werden. Die Methode tasheel liefert stattdessen مسوول und مسيول, die nicht zueinander passen.

Der Filter arabic_normalization von Elasticsearch verwendet den Lucene-Normalisierer; eine Python-Pipeline, die zu einem Elasticsearch-Index passen soll, sollte Lucenes Regeln also exakt übernehmen. Das heißt ى → ي, nicht ى → ا.

Wie sieht ein getesteter Normalisierer aus?

Diese Funktion folgt Lucenes Entscheidungen, ergänzt die Behandlung von Unicode, Ziffern und persischen Buchstaben und macht die riskanten Regeln abschaltbar. Sie nutzt nur die Standardbibliothek.

import re
import unicodedata

DIACRITICS = re.compile("[ً-ٰٟ]")  # tashkeel, extra marks, superscript alef
INVISIBLE = re.compile("[​-‏‪-‮⁦-⁩]")  # zero-width, bidi
ALEF = re.compile("[آأإٱ]")    # آ أ إ ٱ -> ا
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "0123456789" * 2)
FARSI = str.maketrans({"ی": "ي", "ک": "ك"})  # ی -> ي, ک -> ك

def normalize(text, *, alef=True, alef_maksura=True, ta_marbuta=True,
              hamza_seats=False, digits=True):
    text = unicodedata.normalize("NFKC", text)     # compose marks, unpack ligatures
    text = INVISIBLE.sub("", text)
    text = DIACRITICS.sub("", text).replace("ـ", "")   # tashkeel, tatweel
    text = text.translate(FARSI)
    if alef:
        text = ALEF.sub("ا", text)
    if alef_maksura:
        text = text.replace("ى", "ي")    # ى -> ي
    if ta_marbuta:
        text = text.replace("ة", "ه")    # ة -> ه
    if hamza_seats:
        text = re.sub("[ؤئ]", "ء", text)  # ؤ ئ -> ء
    if digits:
        text = text.translate(DIGITS)
    return text

Was sie für unsere Teststrings zurückgab:

Eingabe Ausgabe Hinweis
أَحْمَدُ احمد Taschkil und Hamza entfernt
الـــمدينة المدينه Tatweel und Taa marbuta
إلى الي Alif und Alif maqsura
ا + U+0654 + مل امل Zerlegtes Hamza zusammengesetzt, dann vereinheitlicht
ﻻبد لابد Präsentationsform aufgelöst
٢٠٢٦ / ۱۴۰۵ 2026 / 1405 Arabisch-indische und persische Ziffern
مسؤول / مسئول Beide مسءول mit hamza_seats=True Standardmäßig unverändert
فارسی فارسي Persisches Ya

Verwenden Sie sie an zwei Stellen: beim Bauen des Indexschlüssels und beim Einlesen einer Anfrage. Speichern Sie original und normalize(original) nebeneinander, suchen Sie auf dem zweiten und geben Sie das erste zurück. Mit dem kostenlosen Normalisierer für arabischen Text können Sie Text einfügen und die Wirkung jeder Regel sehen, bevor Sie Ihre Einstellungen wählen.

Wie passt Normalisierung zu Embeddings und RAG?

Eine RAG-Pipeline hat meist zwei Retriever: Keyword-Suche (BM25) und Embeddings. Der Keyword-Seite hilft die Normalisierung eindeutig. Für die Embedding-Seite gelten die Belege oben nicht: Embedding-Modelle werden auf Rohtext trainiert, und viele legen احمد und أحمد bereits nah beieinander ab. Normalisierung vor dem Embedding kann helfen, nichts bewirken oder schaden. Bauen Sie 50 bis 100 echte Anfragen mit bekannten Antworten, führen Sie sie mit roher und normalisierter Eingabe aus und behalten Sie die Variante mit dem höheren Recall. Was auch immer Sie wählen, wenden Sie es auf Dokumente und Anfragen identisch an.

Normalisierung senkt auch die Token-Zahl leicht, weil Diakritika und Tatweel für den Tokenizer zusätzliche Zeichen sind. Gemessene Verhältnisse finden Sie im Datensatz zur Tokenizer-Effizienz und unter Tokens pro Wort auf Arabisch. Dieselbe Normalisierung wird verwendet, um Spracherkennung fair zu bewerten; siehe Arabische WER erklärt.

Arabizi (Arabisch in lateinischen Buchstaben) braucht einen ganz anderen Ansatz: Wie LLMs mit Arabizi umgehen.

Wo BroadNet Inference ins Bild passt

Die Normalisierung läuft in Ihrem eigenen Code, dafür ist keine API nötig. BroadNet Inference kommt nach dem Retrieval ins Spiel. Es verkauft keine Embeddings; kombinieren Sie also einen Retriever und einen Embedding-Anbieter Ihrer Wahl mit einem Chat-Modell von BroadNet für den Antwortschritt. GLM 5.3 und DeepSeek V4.1 Flash nehmen 1.048.576 Tokens Kontext auf, Sie können also viele abgerufene Passagen in ihrem ursprünglichen, nicht normalisierten Arabisch übergeben. Zur Modellwahl nach arabischer Qualität siehe Das richtige LLM für Arabisch wählen. Brauchen Sie nur Keyword-Suche, genügt vielleicht schon der eingebaute Analyzer arabic von Elasticsearch.

Häufige Fragen

Sollte ich Taschkil (Diakritika) vor dem Indexieren arabischer Texte entfernen?

Für die Suche ja: Die meisten Anfragen und die meisten modernen Texte haben keine, sodass vokalisierte Dokumente sonst nicht gefunden würden. Entfernen Sie sie aus Indexschlüssel und Anfrage, behalten Sie den Originaltext für die Anzeige und behalten Sie sie bei Koran, Lyrik oder Ausspracheaufgaben, wo sie Bedeutung tragen.

Sollte Taa marbuta (ة) auf Ha (ه) normalisiert werden?

Für die Suche meistens, weil viele Leute am Wortende ه tippen. Es verschmilzt aber einige Paare, etwa كتابة (Schreiben) und كتابه (sein Buch). Sind solche Kollisionen in Ihrem Bereich wichtig, behalten Sie ة und testen beide Einstellungen.

Was macht die arabische Normalisierung in Elasticsearch?

Der Token-Filter arabic_normalization verwendet Lucenes ArabicNormalizer: Alif-Formen mit Hamza werden zu reinem Alif, Taa marbuta zu Ha, Alif maqsura zu Ya, Harakat und Tatweel werden entfernt. Der eingebaute Analyzer arabic ergänzt Stoppwörter und einen Stemmer, der angehängte Artikel, Konjunktionen, Präpositionen und häufige Suffixe entfernt.

Hilft die Normalisierung arabischer Texte bei der Embedding-Suche?

Das ist nicht belegt. Die gemessenen Gewinne stammen aus Keyword-Retrieval. Embedding-Modelle lernen aus Rohtext und kommen oft mit Schreibvarianten zurecht. Bauen Sie also ein kleines Set echter Anfragen und vergleichen Sie den Recall mit und ohne Normalisierung, bevor Sie sich festlegen.

Sollte ich arabischen Text normalisieren, bevor ich ihn an ein LLM sende?

In der Regel nicht. Senden Sie den Originaltext, damit Zitate, Namen und Belegstellen exakt bleiben. Das Entfernen von Taschkil spart einige Tokens, tun Sie es aber nur, wenn die Aufgabe die Zeichen nicht braucht.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen