Due stringhe possono apparire identiche a schermo e fallire comunque un confronto di uguaglianza. La normalizzazione Unicode è la soluzione.
Come funziona
UAX #15 definisce quattro forme:
| Forma | Definizione |
|---|---|
| NFD | Decomposizione canonica |
| NFC | Decomposizione canonica, poi composizione canonica |
| NFKD | Decomposizione di compatibilità |
| NFKC | Decomposizione di compatibilità, poi composizione canonica |
Gli equivalenti canonici dovrebbero apparire e comportarsi allo stesso modo, nelle parole di MDN. Gli equivalenti di compatibilità “should be treated alike in some — but not necessarily all — applications” (traduzione: dovrebbero essere trattati allo stesso modo in alcune applicazioni, ma non necessariamente in tutte), quindi NFKC e NFKD possono cambiare l’aspetto del testo. normalize() di JavaScript usa NFC per impostazione predefinita. Python offre le stesse quattro forme in unicodedata.normalize(form, s), e unicodedata.is_normalized per verificare una stringa.
L’arabo mostra entrambi i tipi.
Canonica. Lo standard Unicode dice che أ (U+0623) si decompone in ا (U+0627) più U+0654 HAMZA ABOVE. Il testo di alcune tastiere o convertitori arriva nella forma a due caratteri. NFC lo ricompone in U+0623, così il confronto riesce.
Compatibilità. Unicode codifica le forme di presentazione arabe, forme contestuali delle lettere e legature, negli intervalli da U+FB50 a U+FDFF e da U+FE70 a U+FEFE, e dice che servono per compatibilità e “should not be used in general interchange” (traduzione: non dovrebbero essere usate nello scambio generale di testo). Compaiono comunque nel testo copiato da vecchi PDF e in alcuni output OCR. NFKC le riduce:
| Input | Code point | Dopo NFKC |
|---|---|---|
| ﻻ | U+FEFB, LAM WITH ALEF ISOLATED FORM | لا (due lettere) |
| ﷲ | U+FDF2, ALLAH ISOLATED FORM | الله (quattro lettere) |
| ﺍ | U+FE8D, ALEF ISOLATED FORM | ا |
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا" # True
unicodedata.normalize("NFC", "أ") == "أ" # True
normalize_unicode di CAMeL Tools applica NFKC per impostazione predefinita, dopo aver prima mappato due caratteri speciali, il segno del rial U+FDFC e la legatura della Basmala U+FDFD, su normali lettere arabe.
Perché è importante
- Ricerca e RAG. Un documento estratto da un PDF con forme di presentazione non corrisponderà a una query digitata su una tastiera normale. Applica NFKC a entrambi prima delle regole di normalizzazione del testo arabo, che presuppongono lettere standard.
- Conteggio dei token. Le forme di presentazione sono code point diversi dalle lettere ordinarie, quindi un tokenizer può dividere la stessa parola visibile in un numero diverso di token. In UTF-8, ﻻ occupa 3 byte e لا 4. Conta entrambe le versioni nel contatore di token per l’arabo se il tuo input arriva da PDF.
- Validazione. Normalizza prima di confrontare l’output del modello con il testo sorgente, per esempio quando verifichi che un’entità estratta compaia davvero nel documento.
Su BroadNet Inference
Il riferimento API di BroadNet non dice se l’input viene normalizzato lato server, quindi normalizza nel tuo codice prima di inviare, indicizzare o confrontare il testo. Per i documenti in arabo, l’articolo sull’OCR con LLM di visione e la guida alle fatture in arabo spiegano come leggere le pagine come immagini con modelli come Gemma 4 VL 26B, evitando i livelli di testo rovinati dei PDF. Applica NFKC a qualunque testo torni indietro prima di confrontarlo.
Errori comuni
- Memorizzare testo NFKC per la visualizzazione; conserva gli originali in NFC.
- Normalizzare i documenti ma non le query.
- Credere che la normalizzazione rimuova diacritici, tatweel o mark bidi. Non lo fa.