---
title: "Was ist arabische Textnormalisierung? Regeln für RAG"
description: "Arabische Textnormalisierung führt Schreibvarianten wie Alef-Formen, Tatweel und Diakritika auf eine Form zurück, damit Suche, RAG und WER passen. Regeln, Folgen."
url: https://broadrouter.com/de/glossary/arabic-text-normalization/
lang: de
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/glossary/arabic-text-normalization/) (aktualisiert am 2026-11-15).

# Arabische Textnormalisierung (text normalization)

Aktualisiert 2026-11-15

Arabische Textnormalisierung ist der Schritt, der Schreibvarianten desselben Worts vor dem Abgleich auf eine Form abbildet: Diakritika und Tatweel entfernen, Alef-Formen vereinheitlichen und oft ى auf ي sowie ة auf ه abbilden. Sie wird auf Suchschlüssel und Evaluierung angewendet, nicht auf angezeigten Text.

Auch genannt: arabische Normalisierung, Alef-Normalisierung, orthografische Normalisierung, Arabic text normalization, Arabic normalization, alef normalization, orthographic normalization, tatweel, kashida, alef variants

Arabische Nutzer tippen dasselbe Wort auf mehrere Arten. Normalisierung sorgt dafür, dass diese Schreibweisen zueinander passen.

## So funktioniert es

Normalisierung ist eine Reihe von Zeichenersetzungen, die auf gespeicherten Text und auf Anfragen angewendet werden. Der ArabicNormalizer von Apache Lucene, den viele Suchmaschinen nutzen, nennt fünf Regeln:

1.  Hamza auf Alef-Träger wird zu bloßem Alef;
2.  Teh marbuta (ة) wird zu Heh (ه);
3.  punktloses Yeh, Alef maksura (ى), wird zu Yeh (ي);
4.  Entfernen der Harakat ([Diakritika](https://broadrouter.com/de/glossary/arabic-diacritics/));
5.  Entfernen von Tatweel, dem „Dehnungszeichen“.

CAMeL Tools bietet dieselben Ideen als einzelne Funktionen an. `normalize_alef_ar` bildet إ أ ٱ آ (U+0625, U+0623, U+0671, U+0622) auf ا ab, `normalize_alef_maksura_ar` bildet ى auf ي ab, und `normalize_teh_marbuta_ar` bildet ة auf ه ab. `normalize_unicode` führt standardmäßig NFKC aus; das ist [Unicode-Normalisierung](https://broadrouter.com/de/glossary/unicode-normalization/) und sollte zuerst kommen.

Tatweel (U+0640, auch Kashida genannt) ist ein Verbindungszeichen, das der Unicode-Standard für den Blocksatz beschreibt: Zwischen Zeichen eingefügt, dehnt es eine Zeile. Es trägt keine Bedeutung, also sollten كتـــاب und كتاب übereinstimmen.

Ein Beispiel:

| Eingabe | Nach der Normalisierung | Angewandte Regeln |
| --- | --- | --- |
| إِسْلامٌ | اسلام | Diakritika, Alef |
| مدرسة | مدرسه | Teh marbuta |
| مستشفى | مستشفي | Alef maksura |
| كتـــاب | كتاب | Tatweel |

## Warum es wichtig ist

Larkey, Ballesteros und Connell (2002) normalisierten die arabische Nachrichtensammlung von TREC-2001, indem sie Satzzeichen, Diakritika und Nicht-Buchstaben entfernten und mehrere Buchstabenvarianten durch eine Form ersetzten. Allein die Normalisierung hob die einsprachige Average Precision von 0,194 auf 0,238. Ihr light8-Stemmer obendrauf erreichte 0,376.

Dasselbe gilt für:

-   **[RAG](https://broadrouter.com/de/glossary/rag/) und Stichwortsuche.** Eine ohne Hamza getippte Anfrage sollte ein Dokument finden, das mit Hamza geschrieben ist. Siehe [arabische RAG-Suche](https://broadrouter.com/de/blog/arabic-rag-search/).
-   **[Wortfehlerrate](https://broadrouter.com/de/glossary/word-error-rate/).** Arabische ASR-Werte hängen davon ab, ob Referenzen und Transkripte gleich normalisiert wurden. Die [Erklärung zur arabischen WER](https://broadrouter.com/de/blog/arabic-asr-wer-explained/) zeigt den Effekt.
-   **Deduplizierung und Analytics.** Wer Wörter oder Suchbegriffe von Nutzern ohne Normalisierung zählt, spaltet ein Wort in mehrere auf.

Der Preis sind zusammengelegte Wörter. Vereinheitlichtes Alef macht aus den unterschiedlichen Partikeln إن und أن denselben String, und die Regel ة zu ه legt كرة (Ball) mit كره (Hass) zusammen. Behandeln Sie die Regeln für [Hamza](https://broadrouter.com/de/glossary/hamza/) und [Taa marbuta](https://broadrouter.com/de/glossary/taa-marbuta/) als einstellbar.

## Bei BroadNet Inference

Normalisierung läuft in Ihrem Code, nicht in der API. Die Chat- und Transkriptions-Endpoints von BroadNet nehmen Ihren Text oder Ihr Audio so, wie es kommt. Führen Sie zwei Kopien: das Original für Modell und Nutzer und einen normalisierten Schlüssel für den Abgleich.

Der kostenlose [Normalisierer für arabischen Text](https://broadrouter.com/tools/arabic-text-normalizer/) wendet diese Regeln im Browser an, damit Sie sehen, was jede einzelne ändert. Der [Leitfaden zur Normalisierung](https://broadrouter.com/de/blog/arabic-text-normalization-search/) enthält getesteten Python-Code und eine Diskussion Regel für Regel.

## Häufige Fehler

-   Dokumente normalisieren, Anfragen aber nicht, oder umgekehrt.
-   Den normalisierten Text Nutzern anzeigen oder zitieren.
-   Bibliotheken mit unterschiedlichen Regeln mischen, etwa zwei verschiedene Abbildungen für ى.

## Häufige Fragen

### Hilft Normalisierung auch bei der Suche mit Embeddings?

Die klassischen Ergebnisse wurden bei der Stichwortsuche gemessen. Testen Sie bei Embeddings normalisierte und unveränderte Eingaben mit Ihren eigenen Anfragen, bevor Sie sich entscheiden.

### Sollte ich Text normalisieren, bevor ich ihn an ein LLM sende?

Meist nicht. Senden Sie das Original, damit das Modell die echte Schreibweise, Hamza und Diakritika sieht. Normalisieren Sie nur die Kopien, die Sie abgleichen, indexieren oder bewerten.

### Wenden alle Bibliotheken dieselben Regeln an?

Nein. CAMeL Tools und Lucene bilden beide Alef maksura auf Yeh und Teh marbuta auf Heh ab, andere Bibliotheken weichen ab. Wählen Sie ein Regelset und verwenden Sie es für Dokumente und Anfragen gleichermaßen.

## Siehe auch

-   [Arabische Diakritika (Tashkeel)](https://broadrouter.com/de/glossary/arabic-diacritics/) (Begriff)
-   [Hamza](https://broadrouter.com/de/glossary/hamza/) (Begriff)
-   [Taa marbuta (ة)](https://broadrouter.com/de/glossary/taa-marbuta/) (Begriff)
-   [Unicode-Normalisierung](https://broadrouter.com/de/glossary/unicode-normalization/) (Begriff)
-   [RAG (Retrieval-Augmented Generation)](https://broadrouter.com/de/glossary/rag/) (Begriff)
-   [Wortfehlerrate (Word Error Rate, WER)](https://broadrouter.com/de/glossary/word-error-rate/) (Begriff)
-   [Arabische Textnormalisierung für Suche und RAG: was ändern, was nicht](https://broadrouter.com/de/blog/arabic-text-normalization-search/) (Artikel)
-   [RAG auf Arabisch: Normalisierung, Chunking und Retrieval, die wirken](https://broadrouter.com/de/blog/arabic-rag-search/) (Artikel)
-   [Wortfehlerrate (WER) bei arabischer Spracherkennung erklärt](https://broadrouter.com/de/blog/arabic-asr-wer-explained/) (Artikel)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-arabic-text-normalization&utm_content=page-cta) ·

**Quellen**

-   [Dokumentation von CAMeL Tools, camel\_tools.utils.normalize (geprüft am 2026-11-15)](https://camel-tools.readthedocs.io/en/latest/api/utils/normalize.html)
-   [Quellcode von CAMeL Tools, normalize.py (Regeln für Alef, Alef maksura, Teh marbuta) (geprüft am 2026-11-15)](https://raw.githubusercontent.com/CAMeL-Lab/camel_tools/master/camel_tools/utils/normalize.py)
-   [Apache Lucene 9.0 API, ArabicNormalizer (geprüft am 2026-11-15)](https://lucene.apache.org/core/9_0_0/analysis/common/org/apache/lucene/analysis/ar/ArabicNormalizer.html)
-   [Larkey, Ballesteros und Connell, Improving Stemming for Arabic Information Retrieval (SIGIR 2002) (geprüft am 2026-11-15)](https://ciir-publications.cs.umass.edu/pub/web/getpdf.php?id=249)
-   [The Unicode Standard 18.0, Kapitel 9 Middle East-I, Arabisch (Tatweel) (geprüft am 2026-11-15)](https://www.unicode.org/versions/Unicode18.0.0/core-spec/chapter-9/)
