BroadRouter
Comenzar

Normalización de texto árabe

Actualizado

La normalización de texto árabe es el paso que lleva las variantes ortográficas de una misma palabra a una sola forma antes de compararlas: quitar diacríticos y tatweel, unificar las formas de alef y, a menudo, convertir ى en ي y ة en ه. Se aplica a claves de búsqueda y evaluación, no al texto que se muestra.

También llamado: normalización de texto árabe, normalización del árabe, normalización de alef, normalización ortográfica, tatweel, kashida, Arabic normalization, Arabic text normalization, alef normalization, orthographic normalization, alef variants

Los usuarios árabes escriben la misma palabra de varias maneras. La normalización hace que esas grafías coincidan.

Cómo funciona

La normalización es un conjunto de sustituciones de caracteres que se aplica tanto al texto almacenado como a las consultas. El ArabicNormalizer de Apache Lucene, usado en muchos motores de búsqueda, enumera cinco reglas:

  1. hamza sobre alef pasa a alef simple;
  2. ta marbuta (ة) pasa a ha (ه);
  3. la ya sin puntos, alef maqsura (ى), pasa a ya (ي);
  4. eliminación de los harakat (diacríticos);
  5. eliminación del tatweel, el «carácter de alargamiento».

CAMeL Tools ofrece las mismas ideas como funciones separadas. Su normalize_alef_ar convierte إ أ ٱ آ (U+0625, U+0623, U+0671, U+0622) en ا, normalize_alef_maksura_ar convierte ى en ي, y normalize_teh_marbuta_ar convierte ة en ه. normalize_unicode aplica NFKC por defecto, que es la normalización Unicode y debe ir primero.

El tatweel (U+0640, también llamado kashida) es un carácter de unión que el estándar Unicode describe para la justificación: insertarlo entre caracteres alarga una línea. No aporta significado, así que كتـــاب y كتاب deben coincidir.

Un ejemplo práctico:

Entrada Tras normalizar Reglas aplicadas
إِسْلامٌ اسلام diacríticos, alef
مدرسة مدرسه ta marbuta
مستشفى مستشفي alef maqsura
كتـــاب كتاب tatweel

Por qué importa

Larkey, Ballesteros y Connell (2002) normalizaron la colección de noticias árabes de TREC-2001 eliminando puntuación, diacríticos y caracteres que no son letras, y reemplazando varias variantes de letras por una sola forma. Solo la normalización elevó la precisión media monolingüe de .194 a .238. Su stemmer light8, aplicado encima, llegó a .376.

Lo mismo vale para:

  • RAG y búsqueda por palabras clave. Una consulta escrita sin hamza debe encontrar un documento escrito con ella. Consulte búsqueda RAG en árabe.
  • Tasa de error por palabra. Los resultados del ASR en árabe dependen de si las referencias y las transcripciones se normalizaron igual. La explicación del WER en árabe muestra el efecto.
  • Deduplicación y analítica. Contar palabras o términos de los usuarios sin normalizar divide una palabra en varias.

El costo son palabras fusionadas. Unificar el alef convierte las partículas distintas إن y أن en la misma cadena, y la regla de ة a ه fusiona كرة (pelota) con كره (odio). Trate las reglas de hamza y ta marbuta como ajustables.

En BroadNet Inference

La normalización se ejecuta en su código, no en la API. Los endpoints de chat y de transcripción de BroadNet reciben su texto o su audio tal como llegan. Guarde dos copias: la original para el modelo y el usuario, y una clave normalizada para las comparaciones.

El normalizador de texto árabe, gratuito, aplica estas reglas en el navegador para que vea qué cambia cada una. La guía de normalización incluye código Python probado y un análisis regla por regla.

Errores comunes

  • Normalizar los documentos pero no las consultas, o al revés.
  • Mostrar o citar el texto normalizado a los usuarios.
  • Mezclar bibliotecas con reglas distintas, como dos conversiones diferentes para ى.

Preguntas frecuentes

¿La normalización también ayuda en la búsqueda con embeddings?

Los resultados clásicos se midieron en búsqueda por palabras clave. Con embeddings, pruebe la entrada normalizada y la original con sus propias consultas antes de decidir.

¿Debo normalizar el texto antes de enviarlo a un LLM?

Normalmente no. Envíe el original para que el modelo vea la ortografía real, la hamza y los diacríticos. Normalice solo las copias que compara, indexa o evalúa.

¿Todas las bibliotecas aplican las mismas reglas?

No. CAMeL Tools y Lucene convierten la alef maqsura en ya y la ta marbuta en ha, pero otras bibliotecas difieren. Elija un conjunto de reglas y aplíquelo tanto a los documentos como a las consultas.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity