BroadRouter
Começar

Normalização de texto árabe (Arabic text normalization)

Atualizado em

Normalização de texto árabe é a etapa que converte as variantes de grafia de uma mesma palavra em uma única forma antes da comparação: remove diacríticos e tatweel, unifica as formas de alef e muitas vezes troca ى por ي e ة por ه. Ela se aplica a chaves de busca e à avaliação, não ao texto exibido.

Também chamado de: normalização de árabe, normalização de alef, normalização ortográfica, Arabic text normalization, Arabic normalization, alef normalization, orthographic normalization, tatweel, kashida, alef variants

Usuários árabes digitam a mesma palavra de várias formas. A normalização faz essas grafias baterem.

Como funciona

A normalização é um conjunto de substituições de caracteres aplicadas tanto ao texto armazenado quanto às consultas. O ArabicNormalizer do Apache Lucene, usado em muitos mecanismos de busca, lista cinco regras:

  1. hamza com suporte de alef vira alef simples;
  2. teh marbuta (ة) vira heh (ه);
  3. yeh sem pontos, o alef maksura (ى), vira yeh (ي);
  4. remoção das harakat (diacríticos);
  5. remoção do tatweel, o “caractere de alongamento”.

O CAMeL Tools oferece as mesmas ideias como funções separadas. A normalize_alef_ar converte إ أ ٱ آ (U+0625, U+0623, U+0671, U+0622) em ا, a normalize_alef_maksura_ar converte ى em ي, e a normalize_teh_marbuta_ar converte ة em ه. A normalize_unicode aplica NFKC por padrão, que é a normalização Unicode e deve vir primeiro.

O tatweel (U+0640, também chamado de kashida) é um caractere de ligação que o padrão Unicode descreve para justificação: inseri-lo entre caracteres estica a linha. Ele não tem significado, então كتـــاب e كتاب devem bater.

Um exemplo prático:

Entrada Depois da normalização Regras usadas
إِسْلامٌ اسلام diacríticos, alef
مدرسة مدرسه teh marbuta
مستشفى مستشفي alef maksura
كتـــاب كتاب tatweel

Por que isso importa

Larkey, Ballesteros e Connell (2002) normalizaram a coleção de notícias em árabe do TREC-2001 removendo pontuação, diacríticos e caracteres que não são letras, e trocando várias variantes de letras por uma só forma. Só a normalização elevou a precisão média monolíngue de 0,194 para 0,238. O stemmer light8 aplicado por cima chegou a 0,376.

O mesmo vale para:

  • RAG e busca por palavra-chave. Uma consulta digitada sem hamza deve encontrar um documento escrito com ela. Veja busca RAG em árabe.
  • Word error rate. As notas de ASR em árabe dependem de referências e transcrições terem sido normalizadas do mesmo jeito. O explicador de WER em árabe mostra o efeito.
  • Deduplicação e análise. Contar palavras ou termos dos usuários sem normalização divide uma palavra em várias.

O custo são palavras fundidas. Unificar o alef transforma as partículas distintas إن e أن na mesma string, e a regra de ة para ه junta كرة (bola) com كره (ódio). Trate as regras de hamza e taa marbuta como ajustáveis.

Na BroadNet Inference

A normalização roda no seu código, não na API. Os endpoints de chat e de transcrição da BroadNet recebem o seu texto ou áudio do jeito que chegam. Mantenha duas cópias: a original para o modelo e para o usuário, e uma chave normalizada para comparação.

O normalizador de texto árabe gratuito aplica essas regras no navegador para você ver o que cada uma muda. O guia de normalização traz código Python testado e uma análise regra por regra.

Erros comuns

  • Normalizar os documentos, mas não as consultas, ou o contrário.
  • Mostrar ou citar o texto normalizado para os usuários.
  • Misturar bibliotecas com regras diferentes, como dois mapeamentos distintos para ى.

Perguntas frequentes

A normalização também ajuda na busca com embeddings?

Os resultados clássicos foram medidos em busca por palavra-chave. Para embeddings, teste a entrada normalizada e a original nas suas próprias consultas antes de decidir.

Devo normalizar o texto antes de enviar a um LLM?

Normalmente não. Envie o original para que o modelo veja a grafia real, a hamza e os diacríticos. Normalize só as cópias que você compara, indexa ou avalia.

Todas as bibliotecas aplicam as mesmas regras?

Não. O CAMeL Tools e o Lucene convertem alef maksura em yeh e teh marbuta em heh, mas outras bibliotecas fazem diferente. Escolha um conjunto de regras e use-o tanto nos documentos quanto nas consultas.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity