BroadRouter
Commencer

Normalisation Unicode

Mis à jour

La normalisation Unicode convertit un texte dans une forme standard afin que des chaînes d’apparence identique utilisent les mêmes points de code. Les quatre formes sont NFD, NFC, NFKD et NFKC ; les formes K ramènent aussi les caractères de compatibilité, comme les formes de présentation arabes et les ligatures, à des lettres ordinaires.

Aussi appelé : normalisation Unicode, forme normale Unicode, NFC, NFKC, NFD, NFKD, Unicode normalization

Deux chaînes peuvent paraître identiques à l’écran et pourtant échouer à un test d’égalité. La normalisation Unicode règle ce problème.

Comment ça marche

L’UAX #15 définit quatre formes :

Forme Définition
NFD Décomposition canonique
NFC Décomposition canonique, puis composition canonique
NFKD Décomposition de compatibilité
NFKC Décomposition de compatibilité, puis composition canonique

Les équivalents canoniques devraient s’afficher et se comporter de la même façon, selon les termes de MDN. Les équivalents de compatibilité « should be treated alike in some — but not necessarily all — applications » (traduction : « devraient être traités de la même façon dans certaines applications, mais pas forcément toutes ») : NFKC et NFKD peuvent donc modifier l’apparence du texte. En JavaScript, normalize() utilise NFC par défaut. Python propose les mêmes quatre formes avec unicodedata.normalize(form, s), et unicodedata.is_normalized pour tester une chaîne.

L’arabe illustre les deux types.

Canonique. Le standard Unicode indique que أ (U+0623) se décompose en ا (U+0627) plus U+0654 HAMZA ABOVE. Le texte issu de certains claviers ou convertisseurs arrive sous la forme à deux caractères. NFC le recompose en U+0623, et la correspondance fonctionne.

Compatibilité. Unicode encode les formes de présentation arabes, c’est-à-dire les formes contextuelles des lettres et les ligatures, dans les plages U+FB50 à U+FDFF et U+FE70 à U+FEFE, et précise qu’elles servent à la compatibilité et « should not be used in general interchange » (traduction : « ne devraient pas être utilisées dans les échanges courants »). On les retrouve pourtant dans du texte copié depuis d’anciens PDF et dans certaines sorties d’OCR. NFKC les ramène aux lettres ordinaires :

Entrée Point de code Après NFKC
ﻻ U+FEFB, LAM WITH ALEF ISOLATED FORM لا (deux lettres)
ﷲ U+FDF2, ALLAH ISOLATED FORM الله (quatre lettres)
ﺍ U+FE8D, ALEF ISOLATED FORM ا
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا"   # True
unicodedata.normalize("NFC", "أ") == "أ"    # True

normalize_unicode de CAMeL Tools applique NFKC par défaut, après avoir d’abord converti deux caractères spéciaux, le signe du rial U+FDFC et la ligature de la basmala U+FDFD, en lettres arabes ordinaires.

Pourquoi c’est important

  • Recherche et RAG. Un document extrait d’un PDF avec des formes de présentation ne correspondra pas à une requête tapée sur un clavier normal. Appliquez NFKC aux deux avant les règles de normalisation du texte arabe, qui supposent des lettres standard.
  • Nombre de tokens. Les formes de présentation sont des points de code différents des lettres ordinaires : un tokenizer peut donc découper le même mot visible en un nombre différent de tokens. En UTF-8, ﻻ fait 3 octets et لا en fait 4. Comptez les deux versions dans le compteur de tokens arabe si votre entrée vient de PDF.
  • Validation. Normalisez avant de comparer la sortie du modèle au texte source, par exemple pour vérifier qu’une entité extraite figure bien dans le document.

Sur BroadNet Inference

La référence de l’API BroadNet ne dit pas si les entrées sont normalisées côté serveur : normalisez donc dans votre propre code avant d’envoyer, d’indexer ou de comparer du texte. Pour les documents arabes, l’article sur l’OCR avec LLM de vision et le guide sur les factures arabes expliquent comment lire les pages comme des images avec des modèles comme Gemma 4 VL 26B, ce qui évite les couches de texte PDF défectueuses. Appliquez NFKC à tout texte renvoyé avant de faire vos correspondances.

Erreurs fréquentes

  • Stocker du texte NFKC pour l’affichage ; gardez les originaux en NFC.
  • Normaliser les documents mais pas les requêtes.
  • Croire que la normalisation supprime les diacritiques, le tatweel ou les marques bidi. Ce n’est pas le cas.

Questions fréquentes

Faut-il utiliser NFC ou NFKC ?

NFC pour stocker et afficher le texte, car elle ne change pas son apparence. NFKC pour les clés de recherche et la mise en correspondance, où ramener ligatures et formes de présentation à des lettres simples est précisément le but. MDN note que les formes de compatibilité modifient l’apparence visuelle.

La normalisation Unicode supprime-t-elle les diacritiques arabes ?

Non. Les diacritiques sont des caractères distincts et restent en place. Les supprimer est une étape à part de la normalisation du texte arabe.

La normalisation supprime-t-elle les marques bidi invisibles ou les caractères de largeur nulle ?

Pas les contrôles bidi comme U+200F ou U+2067 ; ils traversent NFC et NFKC sans changement. Supprimez-les séparément s’ils faussent les correspondances.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity