Dos cadenas pueden verse idénticas en pantalla y aun así fallar una comparación de igualdad. La normalización Unicode es la solución.
Cómo funciona
UAX #15 define cuatro formas:
| Forma | Definición |
|---|---|
| NFD | Descomposición canónica |
| NFC | Descomposición canónica, luego composición canónica |
| NFKD | Descomposición de compatibilidad |
| NFKC | Descomposición de compatibilidad, luego composición canónica |
Los equivalentes canónicos deberían verse y comportarse igual, en palabras de MDN. Los equivalentes de compatibilidad “should be treated alike in some — but not necessarily all — applications” (traducción: deberían tratarse igual en algunas aplicaciones, pero no necesariamente en todas), así que NFKC y NFKD pueden cambiar la apariencia del texto. normalize() de JavaScript usa NFC por defecto. Python ofrece las mismas cuatro formas en unicodedata.normalize(form, s), y unicodedata.is_normalized para comprobar una cadena.
El árabe muestra ambos tipos.
Canónica. El estándar Unicode dice que أ (U+0623) se descompone en ا (U+0627) más U+0654 HAMZA ABOVE. El texto de algunos teclados o conversores llega en la forma de dos caracteres. NFC lo recompone en U+0623, así que coincide.
Compatibilidad. Unicode codifica las formas de presentación árabes, formas contextuales de las letras y ligaduras, en U+FB50 a U+FDFF y U+FE70 a U+FEFE, y dice que existen por compatibilidad y “should not be used in general interchange” (traducción: no deberían usarse en el intercambio general). Aun así aparecen en texto copiado de PDF antiguos y en algunas salidas de OCR. NFKC las unifica:
| Entrada | Punto de código | Tras NFKC |
|---|---|---|
| ﻻ | U+FEFB, LAM WITH ALEF ISOLATED FORM | لا (dos letras) |
| ﷲ | U+FDF2, ALLAH ISOLATED FORM | الله (cuatro letras) |
| ﺍ | U+FE8D, ALEF ISOLATED FORM | ا |
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا" # True
unicodedata.normalize("NFC", "أ") == "أ" # True
normalize_unicode de CAMeL Tools aplica NFKC por defecto, después de convertir primero dos caracteres especiales, el signo del rial U+FDFC y la ligadura de la basmala U+FDFD, en letras árabes normales.
Por qué importa
- Búsqueda y RAG. Un documento extraído de un PDF con formas de presentación no coincidirá con una consulta escrita en un teclado normal. Aplique NFKC a ambos antes de las reglas de normalización de texto árabe, que asumen letras estándar.
- Conteo de tokens. Las formas de presentación son puntos de código distintos de las letras normales, así que un tokenizador puede dividir la misma palabra visible en un número distinto de tokens. En UTF-8, ﻻ ocupa 3 bytes y لا ocupa 4. Cuente ambas versiones en el contador de tokens para árabe si su entrada viene de PDF.
- Validación. Normalice antes de comparar la salida del modelo con el texto fuente, por ejemplo al comprobar que una entidad extraída aparece realmente en el documento.
En BroadNet Inference
La referencia de la API de BroadNet no dice si la entrada se normaliza en el servidor, así que normalice en su propio código antes de enviar, indexar o comparar texto. Para documentos en árabe, el artículo sobre OCR con LLM de visión y la guía de facturas en árabe explican cómo leer páginas como imágenes con modelos como Gemma 4 VL 26B, lo que evita las capas de texto dañadas de los PDF. Aplique NFKC a cualquier texto que vuelva antes de buscar coincidencias.
Errores comunes
- Guardar texto en NFKC para mostrarlo; conserve los originales en NFC.
- Normalizar los documentos pero no las consultas.
- Suponer que la normalización elimina diacríticos, tatweel o marcas bidi. No lo hace.