مدرسة e مدرسه são a mesma palavra, “escola”, para a maioria dos leitores de árabe. Para uma comparação de strings, são diferentes. A culpa é da ta marbuta.
Como funciona
O padrão Unicode classifica TEH MARBUTA (U+0629) como caractere final, que só aparece no fim de uma palavra ou morfema. Ele liga só à direita, ou seja, conecta-se apenas à letra anterior. A forma dele é a do HEH (U+0647) no fim da palavra, mais dois pontos:
| Caractere | Code point | Nome Unicode | Forma final depois de ب |
|---|---|---|---|
| ة | U+0629 | ARABIC LETTER TEH MARBUTA | بة |
| ه | U+0647 | ARABIC LETTER HEH | به |
Como as duas só diferem por dois pontos no fim da palavra, as duas grafias aparecem em texto digitado. Bouamor et al. (2018) observam que, embora o árabe padrão moderno tenha uma ortografia padrão, os dialetos não têm, e as pessoas muitas vezes escrevem as palavras conforme a pronúncia. Então, em texto informal e em árabe dialetal, espere um ه final onde um dicionário escreveria ة.
Normalizadores de busca juntam as duas. O normalize_teh_marbuta_ar do CAMeL Tools é um simples s.replace('ة', 'ه'), e o ArabicNormalizer do Lucene lista “normalization of teh marbuta to heh” (tradução: normalização de teh marbuta para heh) como regra.
Por que isso importa
Recall. Juntar ة com ه permite que uma busca por مدرسه encontre documentos que escrevem مدرسة, e vice-versa. É uma das regras padrão da normalização de texto árabe, junto com a unificação do alef e do hamza.
Palavras fundidas. A regra também faz coincidir palavras que só diferem nessa letra:
| Original | Significado | Depois de ة → ه |
|---|---|---|
| كرة | bola | كره |
| كره | ódio | كره |
Na busca, um falso positivo de vez em quando costuma ser um preço aceitável. Em correspondência de entidades, correção ortográfica ou textos jurídicos, mantenha a distinção e compare os originais.
Avaliação. Na avaliação de speech-to-text, uma transcrição que escreve ه onde a referência tem ة conta como erro de palavra, a menos que as duas sejam normalizadas do mesmo jeito. Decida antes de calcular a pontuação e informe a escolha.
Na BroadNet Inference
A API da BroadNet não normaliza texto. Os modelos de chat recebem e devolvem ة e ه exatamente como foram escritos, e o BroadNet Transcribe Arabic devolve texto árabe comum. Aplique a regra da ة no seu próprio índice ou código de avaliação, dos dois lados.
Se você pedir a um modelo de chat para corrigir a ortografia, confira as edições no código: o post sobre correção ortográfica em árabe mostra uma verificação baseada em diff. Para índices, o post sobre busca RAG em árabe e o guia de normalização mostram onde a regra entra. Você pode testar a regra nas suas próprias strings com o normalizador de texto árabe.