A hamza é o pequeno sinal que mais separa a grafia correta de uma palavra árabe da grafia mais comum. أحمد e احمد são o mesmo nome para quem lê, mas strings diferentes para um computador.
Como funciona
O Unicode Standard diz que “the hamza may occur above or below other letters” (tradução: a hamza pode aparecer acima ou abaixo de outras letras) e lista alef, waw e yeh como suportes. Cada forma com suporte é codificada como um único caractere pré-composto:
| Caractere | Code point | Nome Unicode |
|---|---|---|
| ء | U+0621 | ARABIC LETTER HAMZA |
| أ | U+0623 | ARABIC LETTER ALEF WITH HAMZA ABOVE |
| إ | U+0625 | ARABIC LETTER ALEF WITH HAMZA BELOW |
| آ | U+0622 | ARABIC LETTER ALEF WITH MADDA ABOVE |
| ؤ | U+0624 | ARABIC LETTER WAW WITH HAMZA ABOVE |
| ئ | U+0626 | ARABIC LETTER YEH WITH HAMZA ABOVE |
O Unicode também define decomposições: أ, ؤ e ئ são, cada uma, canonicamente equivalentes à letra base seguida de U+0654 ARABIC HAMZA ABOVE. Então o mesmo أ visível pode chegar como um ou dois code points. A normalização Unicode para NFC ou NFKC transforma ا + U+0654 de volta no único U+0623, e por isso ela deve rodar antes de qualquer regra de hamza.
O texto digitado nem sempre escreve a hamza, então a mesma palavra pode aparecer com أ, إ, آ ou com um ا sem nada. É essa variação que a normalização ataca. O normalize_alef_ar do CAMeL Tools converte إ أ ٱ آ em ا. O ArabicNormalizer do Lucene normaliza “hamza with alef seat to a bare alef” (tradução: hamza com suporte alef para um alef simples).
Por que isso importa
- Busca. Um usuário digita اسلام e o seu documento tem إسلام. Sem a regra de alef, a busca por palavra-chave não encontra. Veja normalização de texto árabe.
- Avaliação de fala. O Open Universal Arabic ASR Leaderboard calcula o WER depois de “removing all punctuation as well as the diacritics, and normalizing characters with Hamzas and Maddas” (tradução: remover toda a pontuação e os diacríticos e normalizar os caracteres com hamza e madda). Se você calcular o seu próprio word error rate sem o mesmo passo, uma transcrição correta que perde uma hamza conta como erro, e os seus números não vão ser comparáveis aos do leaderboard.
- O preço. Reduzir a hamza junta palavras que só diferem por ela. Os verbos سأل (ele perguntou) e سال (escorreu) viram ambos سال. As partículas إن e أن viram ambas ان. Para a maioria das buscas isso é aceitável; para correção ortográfica ou textos jurídicos, não.
Na BroadNet Inference
A API da BroadNet repassa o texto sem alterações; o tratamento da hamza acontece no seu código. As transcrições do BroadNet Transcribe Arabic são texto árabe comum, então aplique a mesma normalização à referência e à transcrição antes de pontuar. Envie language=ar, como recomenda a documentação da BroadNet. O guia de speech-to-text em árabe tem a requisição.
Para corrigir a hamza no texto dos usuários, um modelo de chat pode ajudar; o post sobre correção ortográfica mostra como conferir que só os caracteres pretendidos mudaram. Para ver o que a redução faz com as suas strings, experimente o normalizador de texto árabe.