Duas strings podem parecer idênticas na tela e ainda assim falhar em uma comparação de igualdade. A normalização Unicode resolve isso.
Como funciona
O UAX #15 define quatro formas:
| Forma | Definição |
|---|---|
| NFD | Decomposição canônica |
| NFC | Decomposição canônica, depois composição canônica |
| NFKD | Decomposição de compatibilidade |
| NFKC | Decomposição de compatibilidade, depois composição canônica |
Equivalentes canônicos devem ter a mesma aparência e o mesmo comportamento, nas palavras do MDN. Equivalentes de compatibilidade “should be treated alike in some — but not necessarily all — applications” (tradução: devem ser tratados da mesma forma em algumas aplicações, mas não necessariamente em todas), então NFKC e NFKD podem mudar a aparência do texto. O normalize() do JavaScript usa NFC por padrão. O Python oferece as mesmas quatro formas em unicodedata.normalize(form, s) e unicodedata.is_normalized para testar uma string.
O árabe mostra os dois tipos.
Canônica. O padrão Unicode diz que أ (U+0623) se decompõe em ا (U+0627) mais U+0654 HAMZA ABOVE. Texto vindo de alguns teclados ou conversores chega na forma de dois caracteres. O NFC o recompõe em U+0623, e a comparação bate.
Compatibilidade. O Unicode codifica as formas de apresentação árabes, formas contextuais das letras e ligaduras, nas faixas U+FB50 a U+FDFF e U+FE70 a U+FEFE, e diz que elas existem por compatibilidade e “should not be used in general interchange” (tradução: não devem ser usadas no intercâmbio geral de texto). Mesmo assim aparecem em texto copiado de PDFs antigos e em algumas saídas de OCR. O NFKC as reduz:
| Entrada | Code point | Depois do NFKC |
|---|---|---|
| ﻻ | U+FEFB, LAM WITH ALEF ISOLATED FORM | لا (duas letras) |
| ﷲ | U+FDF2, ALLAH ISOLATED FORM | الله (quatro letras) |
| ﺍ | U+FE8D, ALEF ISOLATED FORM | ا |
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا" # True
unicodedata.normalize("NFC", "أ") == "أ" # True
O normalize_unicode do CAMeL Tools aplica NFKC por padrão, depois de primeiro mapear dois caracteres especiais, o símbolo do rial U+FDFC e a ligadura da Basmala U+FDFD, para letras árabes comuns.
Por que isso importa
- Busca e RAG. Um documento extraído de um PDF com formas de apresentação não vai bater com uma busca digitada em um teclado normal. Rode NFKC nos dois antes das regras de normalização de texto árabe, que pressupõem letras padrão.
- Contagem de tokens. Formas de apresentação são code points diferentes das letras comuns, então um tokenizer pode dividir a mesma palavra visível em um número diferente de tokens. Em UTF-8, ﻻ ocupa 3 bytes e لا ocupa 4. Conte as duas versões no contador de tokens em árabe se a sua entrada vem de PDFs.
- Validação. Normalize antes de comparar a saída do modelo com o texto de origem, por exemplo ao verificar se uma entidade extraída realmente aparece no documento.
Na BroadNet Inference
A referência da API da BroadNet não diz se a entrada é normalizada no servidor, então normalize no seu próprio código antes de enviar, indexar ou comparar texto. Para documentos em árabe, o post sobre OCR com LLMs de visão e o guia de notas fiscais em árabe mostram como ler páginas como imagens com modelos como o Gemma 4 VL 26B, o que evita camadas de texto quebradas em PDFs. Rode NFKC em qualquer texto que voltar antes de compará-lo.
Erros comuns
- Armazenar texto em NFKC para exibição; mantenha os originais em NFC.
- Normalizar os documentos, mas não as buscas.
- Achar que a normalização remove diacríticos, tatweel ou marcas bidi. Não remove.