Usuários árabes digitam a mesma palavra de várias formas. A normalização faz essas grafias baterem.
Como funciona
A normalização é um conjunto de substituições de caracteres aplicadas tanto ao texto armazenado quanto às consultas. O ArabicNormalizer do Apache Lucene, usado em muitos mecanismos de busca, lista cinco regras:
- hamza com suporte de alef vira alef simples;
- teh marbuta (ة) vira heh (ه);
- yeh sem pontos, o alef maksura (ى), vira yeh (ي);
- remoção das harakat (diacríticos);
- remoção do tatweel, o “caractere de alongamento”.
O CAMeL Tools oferece as mesmas ideias como funções separadas. A normalize_alef_ar converte إ أ ٱ آ (U+0625, U+0623, U+0671, U+0622) em ا, a normalize_alef_maksura_ar converte ى em ي, e a normalize_teh_marbuta_ar converte ة em ه. A normalize_unicode aplica NFKC por padrão, que é a normalização Unicode e deve vir primeiro.
O tatweel (U+0640, também chamado de kashida) é um caractere de ligação que o padrão Unicode descreve para justificação: inseri-lo entre caracteres estica a linha. Ele não tem significado, então كتـــاب e كتاب devem bater.
Um exemplo prático:
| Entrada | Depois da normalização | Regras usadas |
|---|---|---|
| إِسْلامٌ | اسلام | diacríticos, alef |
| مدرسة | مدرسه | teh marbuta |
| مستشفى | مستشفي | alef maksura |
| كتـــاب | كتاب | tatweel |
Por que isso importa
Larkey, Ballesteros e Connell (2002) normalizaram a coleção de notícias em árabe do TREC-2001 removendo pontuação, diacríticos e caracteres que não são letras, e trocando várias variantes de letras por uma só forma. Só a normalização elevou a precisão média monolíngue de 0,194 para 0,238. O stemmer light8 aplicado por cima chegou a 0,376.
O mesmo vale para:
- RAG e busca por palavra-chave. Uma consulta digitada sem hamza deve encontrar um documento escrito com ela. Veja busca RAG em árabe.
- Word error rate. As notas de ASR em árabe dependem de referências e transcrições terem sido normalizadas do mesmo jeito. O explicador de WER em árabe mostra o efeito.
- Deduplicação e análise. Contar palavras ou termos dos usuários sem normalização divide uma palavra em várias.
O custo são palavras fundidas. Unificar o alef transforma as partículas distintas إن e أن na mesma string, e a regra de ة para ه junta كرة (bola) com كره (ódio). Trate as regras de hamza e taa marbuta como ajustáveis.
Na BroadNet Inference
A normalização roda no seu código, não na API. Os endpoints de chat e de transcrição da BroadNet recebem o seu texto ou áudio do jeito que chegam. Mantenha duas cópias: a original para o modelo e para o usuário, e uma chave normalizada para comparação.
O normalizador de texto árabe gratuito aplica essas regras no navegador para você ver o que cada uma muda. O guia de normalização traz código Python testado e uma análise regra por regra.
Erros comuns
- Normalizar os documentos, mas não as consultas, ou o contrário.
- Mostrar ou citar o texto normalizado para os usuários.
- Misturar bibliotecas com regras diferentes, como dois mapeamentos distintos para ى.