---
title: "Was ist Unicode-Normalisierung? NFC vs. NFKC für LLM-Text"
description: "Unicode-Normalisierung (NFC, NFD, NFKC, NFKD) gibt gleichwertigen Strings dieselben Codepoints. Welche Form passt und warum NFKC bei PDF- und OCR-Text zählt."
url: https://broadrouter.com/de/glossary/unicode-normalization/
lang: de
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/glossary/unicode-normalization/) (aktualisiert am 2026-11-15).

# Unicode-Normalisierung

Aktualisiert 2026-11-15

Unicode-Normalisierung wandelt Text in eine Standardform um, damit gleich aussehende Strings dieselben Codepoints verwenden. Die vier Formen sind NFD, NFC, NFKD und NFKC; die K-Formen führen zusätzlich Kompatibilitätszeichen wie arabische Präsentationsformen und Ligaturen auf gewöhnliche Buchstaben zurück.

Auch genannt: Unicode-Normalisierung, Unicode Normalisierung, Normalisierungsform, NFC, NFKC, NFD, NFKD, Unicode normalization

Zwei Strings können auf dem Bildschirm identisch aussehen und trotzdem einen Gleichheitstest nicht bestehen. Unicode-Normalisierung ist die Lösung.

## So funktioniert es

UAX #15 definiert vier Formen:

| Form | Definition |
| --- | --- |
| NFD | Kanonische Zerlegung |
| NFC | Kanonische Zerlegung, dann kanonische Zusammensetzung |
| NFKD | Kompatibilitätszerlegung |
| NFKC | Kompatibilitätszerlegung, dann kanonische Zusammensetzung |

Kanonisch äquivalente Zeichen sollten, in den Worten von MDN, gleich aussehen und sich gleich verhalten. Kompatibilitätsäquivalente „should be treated alike in some — but not necessarily all — applications“ (Übersetzung: „sollten in manchen, aber nicht unbedingt allen Anwendungen gleich behandelt werden“), daher können NFKC und NFKD das Aussehen von Text verändern. `normalize()` in JavaScript verwendet standardmäßig NFC. Python bietet dieselben vier Formen in `unicodedata.normalize(form, s)` und mit `unicodedata.is_normalized` einen Test für einen String.

Arabisch zeigt beide Arten.

**Kanonisch.** Laut Unicode-Standard zerfällt أ (U+0623) in ا (U+0627) plus U+0654 HAMZA ABOVE. Text von manchen Tastaturen oder Konvertern kommt in der Zwei-Zeichen-Form an. NFC setzt ihn wieder zu U+0623 zusammen, sodass er übereinstimmt.

**Kompatibilität.** Unicode kodiert arabische Präsentationsformen, also kontextabhängige Buchstabenformen und Ligaturen, in U+FB50 bis U+FDFF und U+FE70 bis U+FEFE und sagt, sie dienen der Kompatibilität und „should not be used in general interchange“ (Übersetzung: „sollten im allgemeinen Austausch nicht verwendet werden“). Sie tauchen trotzdem in Text auf, der aus älteren PDFs kopiert wurde, und in mancher OCR-Ausgabe. NFKC führt sie zurück:

| Eingabe | Codepoint | Nach NFKC |
| --- | --- | --- |
| ﻻ | U+FEFB, LAM WITH ALEF ISOLATED FORM | لا (zwei Buchstaben) |
| ﷲ | U+FDF2, ALLAH ISOLATED FORM | الله (vier Buchstaben) |
| ﺍ | U+FE8D, ALEF ISOLATED FORM | ا |

```python
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا"   # True
unicodedata.normalize("NFC", "أ") == "أ"    # True
```

`normalize_unicode` von CAMeL Tools wendet standardmäßig NFKC an, nachdem es zuerst zwei Sonderzeichen, das Rial-Zeichen U+FDFC und die Basmala-Ligatur U+FDFD, auf gewöhnliche arabische Buchstaben abgebildet hat.

## Warum es wichtig ist

-   **Suche und RAG.** Ein Dokument, das mit Präsentationsformen aus einem PDF extrahiert wurde, passt nicht zu einer Anfrage, die auf einer normalen Tastatur getippt wurde. Wenden Sie NFKC auf beide an, bevor die Regeln der [arabischen Textnormalisierung](https://broadrouter.com/de/glossary/arabic-text-normalization/) greifen, die Standardbuchstaben voraussetzen.
-   **Token-Zahlen.** Präsentationsformen sind andere Codepoints als die gewöhnlichen Buchstaben, daher kann ein [Tokenizer](https://broadrouter.com/de/glossary/tokenizer/) dasselbe sichtbare Wort in eine andere Zahl von Tokens zerlegen. In UTF-8 hat ﻻ 3 Bytes und لا 4. Zählen Sie beide Versionen im [arabischen Token-Zähler](https://broadrouter.com/tools/arabic-token-counter/), wenn Ihre Eingabe aus PDFs stammt.
-   **Validierung.** Normalisieren Sie, bevor Sie Modellausgabe mit dem Ausgangstext vergleichen, etwa wenn Sie prüfen, ob eine extrahierte Entität wirklich im Dokument vorkommt.

## Bei BroadNet Inference

Die API-Referenz von BroadNet sagt nicht, ob Eingaben auf dem Server normalisiert werden. Normalisieren Sie daher in Ihrem eigenen Code, bevor Sie Text senden, indexieren oder vergleichen. Für arabische Dokumente behandeln der [Beitrag zu OCR mit Vision-LLMs](https://broadrouter.com/de/blog/arabic-ocr-vision-llm/) und die [Anleitung zu arabischen Rechnungen](https://broadrouter.com/de/guides/read-arabic-invoices-with-vision/), wie man Seiten als Bilder mit Modellen wie [Gemma 4 VL 26B](https://broadrouter.com/de/models/gemma-4-vl-26b/) liest, was kaputte PDF-Textebenen umgeht. Wenden Sie NFKC auf jeden zurückkommenden Text an, bevor Sie ihn abgleichen.

## Häufige Fehler

-   NFKC-Text für die Anzeige speichern; behalten Sie die NFC-Originale.
-   Dokumente normalisieren, Anfragen aber nicht.
-   Annehmen, dass Normalisierung Diakritika, Tatweel oder Bidi-Marks entfernt. Das tut sie nicht.

## Häufige Fragen

### Sollte ich NFC oder NFKC verwenden?

NFC zum Speichern und Anzeigen von Text, weil es das Aussehen nicht verändert. NFKC für Suchschlüssel und Abgleiche, bei denen das Auflösen von Ligaturen und Präsentationsformen genau das Gewünschte ist. MDN weist darauf hin, dass die Kompatibilitätsformen das Aussehen verändern.

### Entfernt die Unicode-Normalisierung arabische Diakritika?

Nein. Diakritika sind eigene Zeichen und bleiben erhalten. Sie zu entfernen ist ein separater Schritt der arabischen Textnormalisierung.

### Entfernt die Normalisierung unsichtbare Bidi-Marks oder Zeichen ohne Breite?

Die Bidi-Steuerzeichen wie U+200F oder U+2067 nicht; sie gehen unverändert durch NFC und NFKC. Entfernen Sie sie separat, wenn sie Abgleiche stören.

## Siehe auch

-   [Arabische Textnormalisierung (text normalization)](https://broadrouter.com/de/glossary/arabic-text-normalization/) (Begriff)
-   [Hamza](https://broadrouter.com/de/glossary/hamza/) (Begriff)
-   [Tokenizer](https://broadrouter.com/de/glossary/tokenizer/) (Begriff)
-   [Texterkennung (OCR)](https://broadrouter.com/de/glossary/ocr/) (Begriff)
-   [Rechts-nach-links-Text (RTL)](https://broadrouter.com/de/glossary/rtl-text/) (Begriff)
-   [Token](https://broadrouter.com/de/glossary/token/) (Begriff)
-   [Arabische Rechnungen und Belege mit einem Vision-Modell auslesen](https://broadrouter.com/de/guides/read-arabic-invoices-with-vision/) (Anleitung)
-   [Arabische Textnormalisierung für Suche und RAG: was ändern, was nicht](https://broadrouter.com/de/blog/arabic-text-normalization-search/) (Artikel)
-   [Arabische OCR vs. Vision-LLM: Dokumente und Rechnungen lesen](https://broadrouter.com/de/blog/arabic-ocr-vision-llm/) (Artikel)
-   [Tokens pro Wort, Arabisch vs. Englisch: Warum Arabisch mehr kostet](https://broadrouter.com/de/blog/tokens-per-word-arabic-english/) (Artikel)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-unicode-normalization&utm_content=page-cta) ·

**Quellen**

-   [Unicode Standard Annex #15, Unicode Normalization Forms (Unicode 18.0) (geprüft am 2026-11-15)](https://www.unicode.org/reports/tr15/)
-   [MDN Web Docs, String.prototype.normalize() (geprüft am 2026-11-15)](https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/String/normalize)
-   [Python-Dokumentation, unicodedata (normalize, is\_normalized) (geprüft am 2026-11-15)](https://docs.python.org/3/library/unicodedata.html)
-   [The Unicode Standard 18.0, Kapitel 9 Middle East-I, Arabisch (Präsentationsformen) (geprüft am 2026-11-15)](https://www.unicode.org/versions/Unicode18.0.0/core-spec/chapter-9/)
-   [Quellcode von CAMeL Tools, normalize.py (normalize\_unicode) (geprüft am 2026-11-15)](https://raw.githubusercontent.com/CAMeL-Lab/camel_tools/master/camel_tools/utils/normalize.py)
