BroadRouter

Diacríticos árabes (tashkeel)

Actualizado

Los diacríticos árabes, o tashkeel, son pequeñas marcas que se escriben encima o debajo de las letras para indicar vocales breves, consonantes dobles y la ausencia de vocal. Son opcionales: la mayor parte del texto árabe, incluidas las noticias, las omite, así que lectores y software deducen las vocales por el contexto.

También llamado: diacríticos árabes, vocalización árabe, signos vocálicos árabes, tashkil, tashkeel, harakat, diacritization, Arabic diacritization, diacritics, vowel marks

Las mismas tres letras árabes pueden significar «él escribió», «libros» o «fue escrito». Los diacríticos son lo que las distingue, y la mayoría de los textos los omite.

Cómo funciona

El estándar Unicode llama a estas marcas tashkil y dice que “may be written as combining marks” (traducción: pueden escribirse como marcas combinantes), y añade: “In normal writing, however, these marks are omitted.” (traducción: en la escritura normal, sin embargo, estas marcas se omiten). Harakat es el nombre del subconjunto de vocales breves. Cada marca es un carácter combinante propio que sigue a la letra sobre la que se coloca. Las principales están en el rango U+064B a U+0652:

Punto de código Nombre Función
U+064E FATHA a breve
U+064F DAMMA u breve
U+0650 KASRA i breve
U+064B a U+064D FATHATAN, DAMMATAN, KASRATAN tanwín (terminaciones -an, -un, -in)
U+0651 SHADDA consonante doble
U+0652 SUKUN sin vocal

Un ejemplo práctico con la palabra sin vocalizar كتب:

  • كَتَبَ (kataba), «él escribió»
  • كُتُب (kutub), «libros»
  • كُتِبَ (kutiba), «fue escrito»

Sin marcas, las tres son la misma cadena. El lector elige el significado por la frase. El software tiene que hacer lo mismo, y esa es la tarea de un diacritizador. Zerrouki y Balla (2017) crearon el corpus Tashkeela, de unos 75.6 millones de palabras, sobre todo árabe clásico, porque el texto totalmente vocalizado escasea y los diacritizadores lo necesitan para entrenarse. Fadel et al. (2019) reportan modelos neuronales de diacritización que igualan o superan trabajos anteriores en un benchmark público, y muestran que los diacríticos pueden ayudar a la traducción automática.

Las bibliotecas tratan estas marcas como un conjunto. El AR_DIAC_CHARSET de CAMeL Tools contiene U+064B a U+0652 más U+0670 (alef superíndice), y su función dediac_ar las elimina.

Por qué importa

  • Búsqueda y coincidencias. La misma palabra escrita con y sin marcas es una cadena distinta. Quítelas de la clave de búsqueda como parte de la normalización de texto árabe, o fallarán las coincidencias exactas.
  • Tokens. Cada marca es un carácter más para el tokenizador. El texto totalmente vocalizado usa bastantes más tokens que el texto sin marcas; consulte la guía de diacritización para ver las proporciones medidas y tokens por palabra en árabe para la referencia base.
  • Voz y evaluación. Las transcripciones suelen llegar sin marcas. Calcule la tasa de error por palabra después de quitar los diacríticos de ambos textos, o una palabra correcta con una fatha de más contará como error.
  • Cuándo sí los necesita. Texto a voz, enseñanza del idioma, textos coránicos y poéticos, y nombres que resultan ambiguos sin vocales.

En BroadNet Inference

BroadNet no tiene un endpoint de diacritización. Los modelos de chat reciben el tashkeel como texto normal a través de POST /v1/chat/completions, así que puede pedir a un modelo como Qwen3.8 27B que añada o quite marcas. El patrón seguro es verificar la respuesta en código: quite los diacríticos y compárela con su entrada, letra por letra. El artículo sobre diacritización con LLMs incluye el prompt y la verificación.

Para eliminarlos, no use ningún modelo. Una expresión regular corta sobre U+064B a U+0652 es más rápida, gratuita y exacta. El normalizador de texto árabe muestra el efecto en el navegador.

Preguntas frecuentes

¿Debo quitar los diacríticos antes de indexar texto árabe?

Para la búsqueda por palabras clave, normalmente sí, pero solo en la clave de búsqueda. Los autores de Tashkeela señalan que la mayoría de los motores de búsqueda ignoran los diacríticos. Conserve el texto original para mostrarlo y para el LLM.

¿Por qué el árabe con diacríticos consume más tokens?

Cada marca es un carácter Unicode independiente, así que una palabra totalmente vocalizada tiene más caracteres que el tokenizador debe dividir. Cuente su propio texto con un contador de tokens antes y después de añadir el tashkeel.

¿Puede un LLM añadir diacríticos de forma fiable?

Puede añadirlos, pero también puede cambiar letras. Quite las marcas de la respuesta y compárela con la entrada; rechace cualquier respuesta en la que haya cambiado una letra.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity