Las mismas tres letras árabes pueden significar «él escribió», «libros» o «fue escrito». Los diacríticos son lo que las distingue, y la mayoría de los textos los omite.
Cómo funciona
El estándar Unicode llama a estas marcas tashkil y dice que “may be written as combining marks” (traducción: pueden escribirse como marcas combinantes), y añade: “In normal writing, however, these marks are omitted.” (traducción: en la escritura normal, sin embargo, estas marcas se omiten). Harakat es el nombre del subconjunto de vocales breves. Cada marca es un carácter combinante propio que sigue a la letra sobre la que se coloca. Las principales están en el rango U+064B a U+0652:
| Punto de código | Nombre | Función |
|---|---|---|
| U+064E | FATHA | a breve |
| U+064F | DAMMA | u breve |
| U+0650 | KASRA | i breve |
| U+064B a U+064D | FATHATAN, DAMMATAN, KASRATAN | tanwín (terminaciones -an, -un, -in) |
| U+0651 | SHADDA | consonante doble |
| U+0652 | SUKUN | sin vocal |
Un ejemplo práctico con la palabra sin vocalizar كتب:
- كَتَبَ (kataba), «él escribió»
- كُتُب (kutub), «libros»
- كُتِبَ (kutiba), «fue escrito»
Sin marcas, las tres son la misma cadena. El lector elige el significado por la frase. El software tiene que hacer lo mismo, y esa es la tarea de un diacritizador. Zerrouki y Balla (2017) crearon el corpus Tashkeela, de unos 75.6 millones de palabras, sobre todo árabe clásico, porque el texto totalmente vocalizado escasea y los diacritizadores lo necesitan para entrenarse. Fadel et al. (2019) reportan modelos neuronales de diacritización que igualan o superan trabajos anteriores en un benchmark público, y muestran que los diacríticos pueden ayudar a la traducción automática.
Las bibliotecas tratan estas marcas como un conjunto. El AR_DIAC_CHARSET de CAMeL Tools contiene U+064B a U+0652 más U+0670 (alef superíndice), y su función dediac_ar las elimina.
Por qué importa
- Búsqueda y coincidencias. La misma palabra escrita con y sin marcas es una cadena distinta. Quítelas de la clave de búsqueda como parte de la normalización de texto árabe, o fallarán las coincidencias exactas.
- Tokens. Cada marca es un carácter más para el tokenizador. El texto totalmente vocalizado usa bastantes más tokens que el texto sin marcas; consulte la guía de diacritización para ver las proporciones medidas y tokens por palabra en árabe para la referencia base.
- Voz y evaluación. Las transcripciones suelen llegar sin marcas. Calcule la tasa de error por palabra después de quitar los diacríticos de ambos textos, o una palabra correcta con una fatha de más contará como error.
- Cuándo sí los necesita. Texto a voz, enseñanza del idioma, textos coránicos y poéticos, y nombres que resultan ambiguos sin vocales.
En BroadNet Inference
BroadNet no tiene un endpoint de diacritización. Los modelos de chat reciben el tashkeel como texto normal a través de POST /v1/chat/completions, así que puede pedir a un modelo como Qwen3.8 27B que añada o quite marcas. El patrón seguro es verificar la respuesta en código: quite los diacríticos y compárela con su entrada, letra por letra. El artículo sobre diacritización con LLMs incluye el prompt y la verificación.
Para eliminarlos, no use ningún modelo. Una expresión regular corta sobre U+064B a U+0652 es más rápida, gratuita y exacta. El normalizador de texto árabe muestra el efecto en el navegador.