Los usuarios árabes escriben la misma palabra de varias maneras. La normalización hace que esas grafías coincidan.
Cómo funciona
La normalización es un conjunto de sustituciones de caracteres que se aplica tanto al texto almacenado como a las consultas. El ArabicNormalizer de Apache Lucene, usado en muchos motores de búsqueda, enumera cinco reglas:
- hamza sobre alef pasa a alef simple;
- ta marbuta (ة) pasa a ha (ه);
- la ya sin puntos, alef maqsura (ى), pasa a ya (ي);
- eliminación de los harakat (diacríticos);
- eliminación del tatweel, el «carácter de alargamiento».
CAMeL Tools ofrece las mismas ideas como funciones separadas. Su normalize_alef_ar convierte إ أ ٱ آ (U+0625, U+0623, U+0671, U+0622) en ا, normalize_alef_maksura_ar convierte ى en ي, y normalize_teh_marbuta_ar convierte ة en ه. normalize_unicode aplica NFKC por defecto, que es la normalización Unicode y debe ir primero.
El tatweel (U+0640, también llamado kashida) es un carácter de unión que el estándar Unicode describe para la justificación: insertarlo entre caracteres alarga una línea. No aporta significado, así que كتـــاب y كتاب deben coincidir.
Un ejemplo práctico:
| Entrada | Tras normalizar | Reglas aplicadas |
|---|---|---|
| إِسْلامٌ | اسلام | diacríticos, alef |
| مدرسة | مدرسه | ta marbuta |
| مستشفى | مستشفي | alef maqsura |
| كتـــاب | كتاب | tatweel |
Por qué importa
Larkey, Ballesteros y Connell (2002) normalizaron la colección de noticias árabes de TREC-2001 eliminando puntuación, diacríticos y caracteres que no son letras, y reemplazando varias variantes de letras por una sola forma. Solo la normalización elevó la precisión media monolingüe de .194 a .238. Su stemmer light8, aplicado encima, llegó a .376.
Lo mismo vale para:
- RAG y búsqueda por palabras clave. Una consulta escrita sin hamza debe encontrar un documento escrito con ella. Consulte búsqueda RAG en árabe.
- Tasa de error por palabra. Los resultados del ASR en árabe dependen de si las referencias y las transcripciones se normalizaron igual. La explicación del WER en árabe muestra el efecto.
- Deduplicación y analítica. Contar palabras o términos de los usuarios sin normalizar divide una palabra en varias.
El costo son palabras fusionadas. Unificar el alef convierte las partículas distintas إن y أن en la misma cadena, y la regla de ة a ه fusiona كرة (pelota) con كره (odio). Trate las reglas de hamza y ta marbuta como ajustables.
En BroadNet Inference
La normalización se ejecuta en su código, no en la API. Los endpoints de chat y de transcripción de BroadNet reciben su texto o su audio tal como llegan. Guarde dos copias: la original para el modelo y el usuario, y una clave normalizada para las comparaciones.
El normalizador de texto árabe, gratuito, aplica estas reglas en el navegador para que vea qué cambia cada una. La guía de normalización incluye código Python probado y un análisis regla por regla.
Errores comunes
- Normalizar los documentos pero no las consultas, o al revés.
- Mostrar o citar el texto normalizado a los usuarios.
- Mezclar bibliotecas con reglas distintas, como dos conversiones diferentes para ى.