BroadRouter
Começar

Normalização Unicode (Unicode normalization)

Atualizado em

Normalização Unicode é a conversão de texto para uma forma padrão, para que strings que parecem iguais usem os mesmos code points. As quatro formas são NFD, NFC, NFKD e NFKC; as formas K também reduzem caracteres de compatibilidade, como formas de apresentação árabes e ligaduras, a letras comuns.

Também chamado de: normalização Unicode, formas de normalização, Unicode normalization, NFC, NFKC, NFD, NFKD

Duas strings podem parecer idênticas na tela e ainda assim falhar em uma comparação de igualdade. A normalização Unicode resolve isso.

Como funciona

O UAX #15 define quatro formas:

Forma Definição
NFD Decomposição canônica
NFC Decomposição canônica, depois composição canônica
NFKD Decomposição de compatibilidade
NFKC Decomposição de compatibilidade, depois composição canônica

Equivalentes canônicos devem ter a mesma aparência e o mesmo comportamento, nas palavras do MDN. Equivalentes de compatibilidade “should be treated alike in some — but not necessarily all — applications” (tradução: devem ser tratados da mesma forma em algumas aplicações, mas não necessariamente em todas), então NFKC e NFKD podem mudar a aparência do texto. O normalize() do JavaScript usa NFC por padrão. O Python oferece as mesmas quatro formas em unicodedata.normalize(form, s) e unicodedata.is_normalized para testar uma string.

O árabe mostra os dois tipos.

Canônica. O padrão Unicode diz que أ (U+0623) se decompõe em ا (U+0627) mais U+0654 HAMZA ABOVE. Texto vindo de alguns teclados ou conversores chega na forma de dois caracteres. O NFC o recompõe em U+0623, e a comparação bate.

Compatibilidade. O Unicode codifica as formas de apresentação árabes, formas contextuais das letras e ligaduras, nas faixas U+FB50 a U+FDFF e U+FE70 a U+FEFE, e diz que elas existem por compatibilidade e “should not be used in general interchange” (tradução: não devem ser usadas no intercâmbio geral de texto). Mesmo assim aparecem em texto copiado de PDFs antigos e em algumas saídas de OCR. O NFKC as reduz:

Entrada Code point Depois do NFKC
ﻻ U+FEFB, LAM WITH ALEF ISOLATED FORM لا (duas letras)
ﷲ U+FDF2, ALLAH ISOLATED FORM الله (quatro letras)
ﺍ U+FE8D, ALEF ISOLATED FORM ا
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا"   # True
unicodedata.normalize("NFC", "أ") == "أ"    # True

O normalize_unicode do CAMeL Tools aplica NFKC por padrão, depois de primeiro mapear dois caracteres especiais, o símbolo do rial U+FDFC e a ligadura da Basmala U+FDFD, para letras árabes comuns.

Por que isso importa

  • Busca e RAG. Um documento extraído de um PDF com formas de apresentação não vai bater com uma busca digitada em um teclado normal. Rode NFKC nos dois antes das regras de normalização de texto árabe, que pressupõem letras padrão.
  • Contagem de tokens. Formas de apresentação são code points diferentes das letras comuns, então um tokenizer pode dividir a mesma palavra visível em um número diferente de tokens. Em UTF-8, ﻻ ocupa 3 bytes e لا ocupa 4. Conte as duas versões no contador de tokens em árabe se a sua entrada vem de PDFs.
  • Validação. Normalize antes de comparar a saída do modelo com o texto de origem, por exemplo ao verificar se uma entidade extraída realmente aparece no documento.

Na BroadNet Inference

A referência da API da BroadNet não diz se a entrada é normalizada no servidor, então normalize no seu próprio código antes de enviar, indexar ou comparar texto. Para documentos em árabe, o post sobre OCR com LLMs de visão e o guia de notas fiscais em árabe mostram como ler páginas como imagens com modelos como o Gemma 4 VL 26B, o que evita camadas de texto quebradas em PDFs. Rode NFKC em qualquer texto que voltar antes de compará-lo.

Erros comuns

  • Armazenar texto em NFKC para exibição; mantenha os originais em NFC.
  • Normalizar os documentos, mas não as buscas.
  • Achar que a normalização remove diacríticos, tatweel ou marcas bidi. Não remove.

Perguntas frequentes

Devo usar NFC ou NFKC?

NFC para armazenar e exibir texto, porque não muda a aparência. NFKC para chaves de busca e correspondência, quando reduzir ligaduras e formas de apresentação é exatamente o que você quer. O MDN observa que as formas de compatibilidade mudam a aparência visual.

A normalização Unicode remove os diacríticos árabes?

Não. Diacríticos são caracteres separados e permanecem. Removê-los é uma etapa à parte da normalização de texto árabe.

A normalização remove marcas bidi invisíveis ou caracteres de largura zero?

Não os controles bidi como U+200F ou U+2067: eles passam pelo NFC e pelo NFKC sem alteração. Remova-os separadamente se atrapalharem a correspondência.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity