BroadRouter
Loslegen

Unicode-Normalisierung

Aktualisiert

Unicode-Normalisierung wandelt Text in eine Standardform um, damit gleich aussehende Strings dieselben Codepoints verwenden. Die vier Formen sind NFD, NFC, NFKD und NFKC; die K-Formen führen zusätzlich Kompatibilitätszeichen wie arabische Präsentationsformen und Ligaturen auf gewöhnliche Buchstaben zurück.

Auch genannt: Unicode-Normalisierung, Unicode Normalisierung, Normalisierungsform, NFC, NFKC, NFD, NFKD, Unicode normalization

Zwei Strings können auf dem Bildschirm identisch aussehen und trotzdem einen Gleichheitstest nicht bestehen. Unicode-Normalisierung ist die Lösung.

So funktioniert es

UAX #15 definiert vier Formen:

Form Definition
NFD Kanonische Zerlegung
NFC Kanonische Zerlegung, dann kanonische Zusammensetzung
NFKD Kompatibilitätszerlegung
NFKC Kompatibilitätszerlegung, dann kanonische Zusammensetzung

Kanonisch äquivalente Zeichen sollten, in den Worten von MDN, gleich aussehen und sich gleich verhalten. Kompatibilitätsäquivalente „should be treated alike in some — but not necessarily all — applications“ (Übersetzung: „sollten in manchen, aber nicht unbedingt allen Anwendungen gleich behandelt werden“), daher können NFKC und NFKD das Aussehen von Text verändern. normalize() in JavaScript verwendet standardmäßig NFC. Python bietet dieselben vier Formen in unicodedata.normalize(form, s) und mit unicodedata.is_normalized einen Test für einen String.

Arabisch zeigt beide Arten.

Kanonisch. Laut Unicode-Standard zerfällt أ (U+0623) in ا (U+0627) plus U+0654 HAMZA ABOVE. Text von manchen Tastaturen oder Konvertern kommt in der Zwei-Zeichen-Form an. NFC setzt ihn wieder zu U+0623 zusammen, sodass er übereinstimmt.

Kompatibilität. Unicode kodiert arabische Präsentationsformen, also kontextabhängige Buchstabenformen und Ligaturen, in U+FB50 bis U+FDFF und U+FE70 bis U+FEFE und sagt, sie dienen der Kompatibilität und „should not be used in general interchange“ (Übersetzung: „sollten im allgemeinen Austausch nicht verwendet werden“). Sie tauchen trotzdem in Text auf, der aus älteren PDFs kopiert wurde, und in mancher OCR-Ausgabe. NFKC führt sie zurück:

Eingabe Codepoint Nach NFKC
ﻻ U+FEFB, LAM WITH ALEF ISOLATED FORM لا (zwei Buchstaben)
ﷲ U+FDF2, ALLAH ISOLATED FORM الله (vier Buchstaben)
ﺍ U+FE8D, ALEF ISOLATED FORM ا
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا"   # True
unicodedata.normalize("NFC", "أ") == "أ"    # True

normalize_unicode von CAMeL Tools wendet standardmäßig NFKC an, nachdem es zuerst zwei Sonderzeichen, das Rial-Zeichen U+FDFC und die Basmala-Ligatur U+FDFD, auf gewöhnliche arabische Buchstaben abgebildet hat.

Warum es wichtig ist

  • Suche und RAG. Ein Dokument, das mit Präsentationsformen aus einem PDF extrahiert wurde, passt nicht zu einer Anfrage, die auf einer normalen Tastatur getippt wurde. Wenden Sie NFKC auf beide an, bevor die Regeln der arabischen Textnormalisierung greifen, die Standardbuchstaben voraussetzen.
  • Token-Zahlen. Präsentationsformen sind andere Codepoints als die gewöhnlichen Buchstaben, daher kann ein Tokenizer dasselbe sichtbare Wort in eine andere Zahl von Tokens zerlegen. In UTF-8 hat ﻻ 3 Bytes und لا 4. Zählen Sie beide Versionen im arabischen Token-Zähler, wenn Ihre Eingabe aus PDFs stammt.
  • Validierung. Normalisieren Sie, bevor Sie Modellausgabe mit dem Ausgangstext vergleichen, etwa wenn Sie prüfen, ob eine extrahierte Entität wirklich im Dokument vorkommt.

Bei BroadNet Inference

Die API-Referenz von BroadNet sagt nicht, ob Eingaben auf dem Server normalisiert werden. Normalisieren Sie daher in Ihrem eigenen Code, bevor Sie Text senden, indexieren oder vergleichen. Für arabische Dokumente behandeln der Beitrag zu OCR mit Vision-LLMs und die Anleitung zu arabischen Rechnungen, wie man Seiten als Bilder mit Modellen wie Gemma 4 VL 26B liest, was kaputte PDF-Textebenen umgeht. Wenden Sie NFKC auf jeden zurückkommenden Text an, bevor Sie ihn abgleichen.

Häufige Fehler

  • NFKC-Text für die Anzeige speichern; behalten Sie die NFC-Originale.
  • Dokumente normalisieren, Anfragen aber nicht.
  • Annehmen, dass Normalisierung Diakritika, Tatweel oder Bidi-Marks entfernt. Das tut sie nicht.

Häufige Fragen

Sollte ich NFC oder NFKC verwenden?

NFC zum Speichern und Anzeigen von Text, weil es das Aussehen nicht verändert. NFKC für Suchschlüssel und Abgleiche, bei denen das Auflösen von Ligaturen und Präsentationsformen genau das Gewünschte ist. MDN weist darauf hin, dass die Kompatibilitätsformen das Aussehen verändern.

Entfernt die Unicode-Normalisierung arabische Diakritika?

Nein. Diakritika sind eigene Zeichen und bleiben erhalten. Sie zu entfernen ist ein separater Schritt der arabischen Textnormalisierung.

Entfernt die Normalisierung unsichtbare Bidi-Marks oder Zeichen ohne Breite?

Die Bidi-Steuerzeichen wie U+200F oder U+2067 nicht; sie gehen unverändert durch NFC und NFKC. Entfernen Sie sie separat, wenn sie Abgleiche stören.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen