BroadRouter
Começar

Hamza (letra árabe)

Atualizado em

Hamza (ء) é a letra árabe que representa a oclusiva glotal. Ela é escrita sozinha ou sobre um suporte: alef (أ إ), waw (ؤ) ou yeh (ئ), e آ junta alef e madda. Como o texto digitado é inconsistente com ela, buscadores e a avaliação de fala costumam reduzir as formas com alef a ا.

Também chamado de: hamza, hamzah, normalização da hamza, formas da hamza, hamza normalization, hamza forms

A hamza é o pequeno sinal que mais separa a grafia correta de uma palavra árabe da grafia mais comum. أحمد e احمد são o mesmo nome para quem lê, mas strings diferentes para um computador.

Como funciona

O Unicode Standard diz que “the hamza may occur above or below other letters” (tradução: a hamza pode aparecer acima ou abaixo de outras letras) e lista alef, waw e yeh como suportes. Cada forma com suporte é codificada como um único caractere pré-composto:

Caractere Code point Nome Unicode
ء U+0621 ARABIC LETTER HAMZA
أ U+0623 ARABIC LETTER ALEF WITH HAMZA ABOVE
إ U+0625 ARABIC LETTER ALEF WITH HAMZA BELOW
آ U+0622 ARABIC LETTER ALEF WITH MADDA ABOVE
ؤ U+0624 ARABIC LETTER WAW WITH HAMZA ABOVE
ئ U+0626 ARABIC LETTER YEH WITH HAMZA ABOVE

O Unicode também define decomposições: أ, ؤ e ئ são, cada uma, canonicamente equivalentes à letra base seguida de U+0654 ARABIC HAMZA ABOVE. Então o mesmo أ visível pode chegar como um ou dois code points. A normalização Unicode para NFC ou NFKC transforma ا + U+0654 de volta no único U+0623, e por isso ela deve rodar antes de qualquer regra de hamza.

O texto digitado nem sempre escreve a hamza, então a mesma palavra pode aparecer com أ, إ, آ ou com um ا sem nada. É essa variação que a normalização ataca. O normalize_alef_ar do CAMeL Tools converte إ أ ٱ آ em ا. O ArabicNormalizer do Lucene normaliza “hamza with alef seat to a bare alef” (tradução: hamza com suporte alef para um alef simples).

Por que isso importa

  • Busca. Um usuário digita اسلام e o seu documento tem إسلام. Sem a regra de alef, a busca por palavra-chave não encontra. Veja normalização de texto árabe.
  • Avaliação de fala. O Open Universal Arabic ASR Leaderboard calcula o WER depois de “removing all punctuation as well as the diacritics, and normalizing characters with Hamzas and Maddas” (tradução: remover toda a pontuação e os diacríticos e normalizar os caracteres com hamza e madda). Se você calcular o seu próprio word error rate sem o mesmo passo, uma transcrição correta que perde uma hamza conta como erro, e os seus números não vão ser comparáveis aos do leaderboard.
  • O preço. Reduzir a hamza junta palavras que só diferem por ela. Os verbos سأل (ele perguntou) e سال (escorreu) viram ambos سال. As partículas إن e أن viram ambas ان. Para a maioria das buscas isso é aceitável; para correção ortográfica ou textos jurídicos, não.

Na BroadNet Inference

A API da BroadNet repassa o texto sem alterações; o tratamento da hamza acontece no seu código. As transcrições do BroadNet Transcribe Arabic são texto árabe comum, então aplique a mesma normalização à referência e à transcrição antes de pontuar. Envie language=ar, como recomenda a documentação da BroadNet. O guia de speech-to-text em árabe tem a requisição.

Para corrigir a hamza no texto dos usuários, um modelo de chat pode ajudar; o post sobre correção ortográfica mostra como conferir que só os caracteres pretendidos mudaram. Para ver o que a redução faz com as suas strings, experimente o normalizador de texto árabe.

Perguntas frequentes

A hamza é uma letra ou um diacrítico?

As duas visões existem. O Unicode codifica ء (U+0621) como letra, ARABIC LETTER HAMZA, e também tem um HAMZA ABOVE combinante (U+0654) usado em formas decompostas.

Devo normalizar ؤ e ئ também?

As ferramentas mais comuns não fazem isso por padrão. A regra de alef do CAMeL Tools e a do Lucene cobrem só as formas com alef. Reduzir também os suportes waw e yeh aumenta ainda mais o recall, mas junta mais palavras; teste nas suas consultas.

Um LLM corrige hamzas faltando?

Muitas vezes, sim, como parte da correção ortográfica, mas confira se ele não mudou mais nada. Não use a cópia corrigida como chave de busca sem normalizá-la também.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity