---
title: "O que é normalização Unicode? NFC e NFKC em textos para LLM"
description: "A normalização Unicode (NFC, NFD, NFKC, NFKD) faz strings equivalentes usarem os mesmos code points. Qual forma usar e por que NFKC importa em PDF e OCR árabe."
url: https://broadrouter.com/pt/glossary/unicode-normalization/
lang: pt-BR
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traduzido do inglês com ajuda de IA. [Leia o original em inglês](https://broadrouter.com/glossary/unicode-normalization/) (atualizado em 2026-11-15).

# Normalização Unicode (Unicode normalization)

Atualizado em 2026-11-15

Normalização Unicode é a conversão de texto para uma forma padrão, para que strings que parecem iguais usem os mesmos code points. As quatro formas são NFD, NFC, NFKD e NFKC; as formas K também reduzem caracteres de compatibilidade, como formas de apresentação árabes e ligaduras, a letras comuns.

Também chamado de: normalização Unicode, formas de normalização, Unicode normalization, NFC, NFKC, NFD, NFKD

Duas strings podem parecer idênticas na tela e ainda assim falhar em uma comparação de igualdade. A normalização Unicode resolve isso.

## Como funciona

O UAX #15 define quatro formas:

| Forma | Definição |
| --- | --- |
| NFD | Decomposição canônica |
| NFC | Decomposição canônica, depois composição canônica |
| NFKD | Decomposição de compatibilidade |
| NFKC | Decomposição de compatibilidade, depois composição canônica |

Equivalentes canônicos devem ter a mesma aparência e o mesmo comportamento, nas palavras do MDN. Equivalentes de compatibilidade “should be treated alike in some — but not necessarily all — applications” (tradução: devem ser tratados da mesma forma em algumas aplicações, mas não necessariamente em todas), então NFKC e NFKD podem mudar a aparência do texto. O `normalize()` do JavaScript usa NFC por padrão. O Python oferece as mesmas quatro formas em `unicodedata.normalize(form, s)` e `unicodedata.is_normalized` para testar uma string.

O árabe mostra os dois tipos.

**Canônica.** O padrão Unicode diz que أ (U+0623) se decompõe em ا (U+0627) mais U+0654 HAMZA ABOVE. Texto vindo de alguns teclados ou conversores chega na forma de dois caracteres. O NFC o recompõe em U+0623, e a comparação bate.

**Compatibilidade.** O Unicode codifica as formas de apresentação árabes, formas contextuais das letras e ligaduras, nas faixas U+FB50 a U+FDFF e U+FE70 a U+FEFE, e diz que elas existem por compatibilidade e “should not be used in general interchange” (tradução: não devem ser usadas no intercâmbio geral de texto). Mesmo assim aparecem em texto copiado de PDFs antigos e em algumas saídas de OCR. O NFKC as reduz:

| Entrada | Code point | Depois do NFKC |
| --- | --- | --- |
| ﻻ | U+FEFB, LAM WITH ALEF ISOLATED FORM | لا (duas letras) |
| ﷲ | U+FDF2, ALLAH ISOLATED FORM | الله (quatro letras) |
| ﺍ | U+FE8D, ALEF ISOLATED FORM | ا |

```python
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا"   # True
unicodedata.normalize("NFC", "أ") == "أ"    # True
```

O `normalize_unicode` do CAMeL Tools aplica NFKC por padrão, depois de primeiro mapear dois caracteres especiais, o símbolo do rial U+FDFC e a ligadura da Basmala U+FDFD, para letras árabes comuns.

## Por que isso importa

-   **Busca e RAG.** Um documento extraído de um PDF com formas de apresentação não vai bater com uma busca digitada em um teclado normal. Rode NFKC nos dois antes das regras de [normalização de texto árabe](https://broadrouter.com/pt/glossary/arabic-text-normalization/), que pressupõem letras padrão.
-   **Contagem de tokens.** Formas de apresentação são code points diferentes das letras comuns, então um [tokenizer](https://broadrouter.com/pt/glossary/tokenizer/) pode dividir a mesma palavra visível em um número diferente de tokens. Em UTF-8, ﻻ ocupa 3 bytes e لا ocupa 4. Conte as duas versões no [contador de tokens em árabe](https://broadrouter.com/tools/arabic-token-counter/) se a sua entrada vem de PDFs.
-   **Validação.** Normalize antes de comparar a saída do modelo com o texto de origem, por exemplo ao verificar se uma entidade extraída realmente aparece no documento.

## Na BroadNet Inference

A referência da API da BroadNet não diz se a entrada é normalizada no servidor, então normalize no seu próprio código antes de enviar, indexar ou comparar texto. Para documentos em árabe, o [post sobre OCR com LLMs de visão](https://broadrouter.com/pt/blog/arabic-ocr-vision-llm/) e o [guia de notas fiscais em árabe](https://broadrouter.com/pt/guides/read-arabic-invoices-with-vision/) mostram como ler páginas como imagens com modelos como o [Gemma 4 VL 26B](https://broadrouter.com/pt/models/gemma-4-vl-26b/), o que evita camadas de texto quebradas em PDFs. Rode NFKC em qualquer texto que voltar antes de compará-lo.

## Erros comuns

-   Armazenar texto em NFKC para exibição; mantenha os originais em NFC.
-   Normalizar os documentos, mas não as buscas.
-   Achar que a normalização remove diacríticos, tatweel ou marcas bidi. Não remove.

## Perguntas frequentes

### Devo usar NFC ou NFKC?

NFC para armazenar e exibir texto, porque não muda a aparência. NFKC para chaves de busca e correspondência, quando reduzir ligaduras e formas de apresentação é exatamente o que você quer. O MDN observa que as formas de compatibilidade mudam a aparência visual.

### A normalização Unicode remove os diacríticos árabes?

Não. Diacríticos são caracteres separados e permanecem. Removê-los é uma etapa à parte da normalização de texto árabe.

### A normalização remove marcas bidi invisíveis ou caracteres de largura zero?

Não os controles bidi como U+200F ou U+2067: eles passam pelo NFC e pelo NFKC sem alteração. Remova-os separadamente se atrapalharem a correspondência.

## Veja também

-   [Normalização de texto árabe (Arabic text normalization)](https://broadrouter.com/pt/glossary/arabic-text-normalization/) (termo)
-   [Hamza (letra árabe)](https://broadrouter.com/pt/glossary/hamza/) (termo)
-   [Tokenizer (tokenizador)](https://broadrouter.com/pt/glossary/tokenizer/) (termo)
-   [Reconhecimento óptico de caracteres (OCR)](https://broadrouter.com/pt/glossary/ocr/) (termo)
-   [Texto RTL (da direita para a esquerda)](https://broadrouter.com/pt/glossary/rtl-text/) (termo)
-   [Token](https://broadrouter.com/pt/glossary/token/) (termo)
-   [Ler notas fiscais e recibos em árabe com um modelo de visão](https://broadrouter.com/pt/guides/read-arabic-invoices-with-vision/) (guia)
-   [Normalizar texto em árabe para busca e RAG: o que mudar e o que não](https://broadrouter.com/pt/blog/arabic-text-normalization-search/) (artigo)
-   [OCR em árabe ou LLM de visão: lendo documentos e notas fiscais](https://broadrouter.com/pt/blog/arabic-ocr-vision-llm/) (artigo)
-   [Tokens por palavra em árabe vs inglês: por que o árabe custa mais](https://broadrouter.com/pt/blog/tokens-per-word-arabic-english/) (artigo)

Teste com a sua carga de trabalho real. Contas novas começam com US$ 5 de crédito para Gemma e transcrição. DeepSeek, GLM e Qwen3.8 exigem uma recarga.

[Começar](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=pt-glossary-unicode-normalization&utm_content=page-cta) ·

**Fontes**

-   [Unicode Standard Annex #15, Unicode Normalization Forms (Unicode 18.0) (conferido em 2026-11-15)](https://www.unicode.org/reports/tr15/)
-   [MDN Web Docs, String.prototype.normalize() (conferido em 2026-11-15)](https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/String/normalize)
-   [Documentação do Python, unicodedata (normalize, is\_normalized) (conferido em 2026-11-15)](https://docs.python.org/3/library/unicodedata.html)
-   [The Unicode Standard 18.0, capítulo 9 Middle East-I, árabe (formas de apresentação) (conferido em 2026-11-15)](https://www.unicode.org/versions/Unicode18.0.0/core-spec/chapter-9/)
-   [Código-fonte do CAMeL Tools, normalize.py (normalize\_unicode) (conferido em 2026-11-15)](https://raw.githubusercontent.com/CAMeL-Lab/camel_tools/master/camel_tools/utils/normalize.py)
