La hamza es la pequeña marca que más a menudo separa una grafía árabe correcta de una frecuente. أحمد y احمد son el mismo nombre para un lector, pero cadenas distintas para un ordenador.
Cómo funciona
El estándar Unicode dice que “the hamza may occur above or below other letters” (traducción: la hamza puede aparecer encima o debajo de otras letras) y enumera alef, waw y yeh como soportes. Cada forma con soporte se codifica como un único carácter precompuesto:
| Carácter | Punto de código | Nombre Unicode |
|---|---|---|
| ء | U+0621 | ARABIC LETTER HAMZA |
| أ | U+0623 | ARABIC LETTER ALEF WITH HAMZA ABOVE |
| إ | U+0625 | ARABIC LETTER ALEF WITH HAMZA BELOW |
| آ | U+0622 | ARABIC LETTER ALEF WITH MADDA ABOVE |
| ؤ | U+0624 | ARABIC LETTER WAW WITH HAMZA ABOVE |
| ئ | U+0626 | ARABIC LETTER YEH WITH HAMZA ABOVE |
Unicode también define descomposiciones: أ, ؤ y ئ equivalen canónicamente a la letra base seguida de U+0654 ARABIC HAMZA ABOVE. Así, la misma أ visible puede llegar como uno o dos puntos de código. La normalización Unicode a NFC o NFKC vuelve a convertir ا + U+0654 en el único U+0623, por eso debe ejecutarse antes de cualquier regla de hamza.
El texto escrito no siempre marca la hamza, así que la misma palabra puede aparecer con أ, إ, آ o con ا sin marca. Esa es la variación que busca resolver la normalización. normalize_alef_ar de CAMeL Tools convierte إ أ ٱ آ en ا. El ArabicNormalizer de Lucene normaliza “hamza with alef seat to a bare alef” (traducción: la hamza con soporte de alef a un alef simple).
Por qué importa
- Búsqueda. Un usuario escribe اسلام y su documento contiene إسلام. Sin la regla de alef, la búsqueda por palabras clave no lo encuentra. Consulte normalización de texto árabe.
- Evaluación de voz. El Open Universal Arabic ASR Leaderboard calcula el WER tras “removing all punctuation as well as the diacritics, and normalizing characters with Hamzas and Maddas” (traducción: eliminar toda la puntuación y los diacríticos, y normalizar los caracteres con hamzas y maddas). Si calcula su propia tasa de error de palabras sin ese mismo paso, una transcripción correcta que omite una hamza cuenta como error, y sus cifras no serán comparables con las de la tabla.
- El costo. Plegar la hamza fusiona palabras que solo difieren en ella. Los verbos سأل (preguntó) y سال (fluyó) se convierten ambos en سال. Las partículas إن y أن se convierten ambas en ان. Para la mayoría de las búsquedas es aceptable; para la corrección ortográfica o los textos legales, no.
En BroadNet Inference
La API de BroadNet transmite el texto sin cambios; el tratamiento de la hamza ocurre en su código. Las transcripciones de BroadNet Transcribe Arabic son texto árabe normal, así que aplique una misma normalización a la referencia y a la transcripción antes de evaluar. Envíe language=ar, como aconseja la documentación de BroadNet. La guía de voz a texto en árabe incluye la solicitud.
Para corregir la hamza en textos de usuarios, un modelo de chat puede ayudar; el artículo sobre corrección ortográfica muestra cómo comprobar que solo cambiaron los caracteres previstos. Para ver qué hace el plegado con sus cadenas, pruebe el normalizador de texto árabe.