---
title: "O que é normalização de texto árabe? Regras para busca e RAG"
description: "A normalização de texto árabe reduz variantes como formas de alef, tatweel e diacríticos a uma só forma, para que busca, RAG e WER batam. Regras e trade-offs."
url: https://broadrouter.com/pt/glossary/arabic-text-normalization/
lang: pt-BR
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traduzido do inglês com ajuda de IA. [Leia o original em inglês](https://broadrouter.com/glossary/arabic-text-normalization/) (atualizado em 2026-11-15).

# Normalização de texto árabe (Arabic text normalization)

Atualizado em 2026-11-15

Normalização de texto árabe é a etapa que converte as variantes de grafia de uma mesma palavra em uma única forma antes da comparação: remove diacríticos e tatweel, unifica as formas de alef e muitas vezes troca ى por ي e ة por ه. Ela se aplica a chaves de busca e à avaliação, não ao texto exibido.

Também chamado de: normalização de árabe, normalização de alef, normalização ortográfica, Arabic text normalization, Arabic normalization, alef normalization, orthographic normalization, tatweel, kashida, alef variants

Usuários árabes digitam a mesma palavra de várias formas. A normalização faz essas grafias baterem.

## Como funciona

A normalização é um conjunto de substituições de caracteres aplicadas tanto ao texto armazenado quanto às consultas. O ArabicNormalizer do Apache Lucene, usado em muitos mecanismos de busca, lista cinco regras:

1.  hamza com suporte de alef vira alef simples;
2.  teh marbuta (ة) vira heh (ه);
3.  yeh sem pontos, o alef maksura (ى), vira yeh (ي);
4.  remoção das harakat ([diacríticos](https://broadrouter.com/pt/glossary/arabic-diacritics/));
5.  remoção do tatweel, o “caractere de alongamento”.

O CAMeL Tools oferece as mesmas ideias como funções separadas. A `normalize_alef_ar` converte إ أ ٱ آ (U+0625, U+0623, U+0671, U+0622) em ا, a `normalize_alef_maksura_ar` converte ى em ي, e a `normalize_teh_marbuta_ar` converte ة em ه. A `normalize_unicode` aplica NFKC por padrão, que é a [normalização Unicode](https://broadrouter.com/pt/glossary/unicode-normalization/) e deve vir primeiro.

O tatweel (U+0640, também chamado de kashida) é um caractere de ligação que o padrão Unicode descreve para justificação: inseri-lo entre caracteres estica a linha. Ele não tem significado, então كتـــاب e كتاب devem bater.

Um exemplo prático:

| Entrada | Depois da normalização | Regras usadas |
| --- | --- | --- |
| إِسْلامٌ | اسلام | diacríticos, alef |
| مدرسة | مدرسه | teh marbuta |
| مستشفى | مستشفي | alef maksura |
| كتـــاب | كتاب | tatweel |

## Por que isso importa

Larkey, Ballesteros e Connell (2002) normalizaram a coleção de notícias em árabe do TREC-2001 removendo pontuação, diacríticos e caracteres que não são letras, e trocando várias variantes de letras por uma só forma. Só a normalização elevou a precisão média monolíngue de 0,194 para 0,238. O stemmer light8 aplicado por cima chegou a 0,376.

O mesmo vale para:

-   **[RAG](https://broadrouter.com/pt/glossary/rag/) e busca por palavra-chave.** Uma consulta digitada sem hamza deve encontrar um documento escrito com ela. Veja [busca RAG em árabe](https://broadrouter.com/pt/blog/arabic-rag-search/).
-   **[Word error rate](https://broadrouter.com/pt/glossary/word-error-rate/).** As notas de ASR em árabe dependem de referências e transcrições terem sido normalizadas do mesmo jeito. O [explicador de WER em árabe](https://broadrouter.com/pt/blog/arabic-asr-wer-explained/) mostra o efeito.
-   **Deduplicação e análise.** Contar palavras ou termos dos usuários sem normalização divide uma palavra em várias.

O custo são palavras fundidas. Unificar o alef transforma as partículas distintas إن e أن na mesma string, e a regra de ة para ه junta كرة (bola) com كره (ódio). Trate as regras de [hamza](https://broadrouter.com/pt/glossary/hamza/) e [taa marbuta](https://broadrouter.com/pt/glossary/taa-marbuta/) como ajustáveis.

## Na BroadNet Inference

A normalização roda no seu código, não na API. Os endpoints de chat e de transcrição da BroadNet recebem o seu texto ou áudio do jeito que chegam. Mantenha duas cópias: a original para o modelo e para o usuário, e uma chave normalizada para comparação.

O [normalizador de texto árabe](https://broadrouter.com/tools/arabic-text-normalizer/) gratuito aplica essas regras no navegador para você ver o que cada uma muda. O [guia de normalização](https://broadrouter.com/pt/blog/arabic-text-normalization-search/) traz código Python testado e uma análise regra por regra.

## Erros comuns

-   Normalizar os documentos, mas não as consultas, ou o contrário.
-   Mostrar ou citar o texto normalizado para os usuários.
-   Misturar bibliotecas com regras diferentes, como dois mapeamentos distintos para ى.

## Perguntas frequentes

### A normalização também ajuda na busca com embeddings?

Os resultados clássicos foram medidos em busca por palavra-chave. Para embeddings, teste a entrada normalizada e a original nas suas próprias consultas antes de decidir.

### Devo normalizar o texto antes de enviar a um LLM?

Normalmente não. Envie o original para que o modelo veja a grafia real, a hamza e os diacríticos. Normalize só as cópias que você compara, indexa ou avalia.

### Todas as bibliotecas aplicam as mesmas regras?

Não. O CAMeL Tools e o Lucene convertem alef maksura em yeh e teh marbuta em heh, mas outras bibliotecas fazem diferente. Escolha um conjunto de regras e use-o tanto nos documentos quanto nas consultas.

## Veja também

-   [Diacríticos árabes (tashkeel)](https://broadrouter.com/pt/glossary/arabic-diacritics/) (termo)
-   [Hamza (letra árabe)](https://broadrouter.com/pt/glossary/hamza/) (termo)
-   [Tā’ marbūṭa (ta marbuta, ة)](https://broadrouter.com/pt/glossary/taa-marbuta/) (termo)
-   [Normalização Unicode (Unicode normalization)](https://broadrouter.com/pt/glossary/unicode-normalization/) (termo)
-   [RAG (geração aumentada por recuperação)](https://broadrouter.com/pt/glossary/rag/) (termo)
-   [Word error rate (WER)](https://broadrouter.com/pt/glossary/word-error-rate/) (termo)
-   [Normalizar texto em árabe para busca e RAG: o que mudar e o que não](https://broadrouter.com/pt/blog/arabic-text-normalization-search/) (artigo)
-   [RAG em árabe: normalização, chunking e retrieval que funcionam](https://broadrouter.com/pt/blog/arabic-rag-search/) (artigo)
-   [Word error rate (WER) no ASR em árabe: o que é e como calcular](https://broadrouter.com/pt/blog/arabic-asr-wer-explained/) (artigo)

Teste com a sua carga de trabalho real. Contas novas começam com US$ 5 de crédito para Gemma e transcrição. DeepSeek, GLM e Qwen3.8 exigem uma recarga.

[Começar](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=pt-glossary-arabic-text-normalization&utm_content=page-cta) ·

**Fontes**

-   [Documentação do CAMeL Tools, camel\_tools.utils.normalize (verificado em 2026-11-15)](https://camel-tools.readthedocs.io/en/latest/api/utils/normalize.html)
-   [Código-fonte do CAMeL Tools, normalize.py (regras de alef, alef maksura, teh marbuta) (verificado em 2026-11-15)](https://raw.githubusercontent.com/CAMeL-Lab/camel_tools/master/camel_tools/utils/normalize.py)
-   [Apache Lucene 9.0 API, ArabicNormalizer (verificado em 2026-11-15)](https://lucene.apache.org/core/9_0_0/analysis/common/org/apache/lucene/analysis/ar/ArabicNormalizer.html)
-   [Larkey, Ballesteros e Connell, Improving Stemming for Arabic Information Retrieval (SIGIR 2002) (verificado em 2026-11-15)](https://ciir-publications.cs.umass.edu/pub/web/getpdf.php?id=249)
-   [The Unicode Standard 18.0, capítulo 9 Middle East-I, árabe (tatweel) (verificado em 2026-11-15)](https://www.unicode.org/versions/Unicode18.0.0/core-spec/chapter-9/)
