BroadRouter
Comenzar

Normalización Unicode (Unicode normalization)

Actualizado

La normalización Unicode convierte el texto a una forma estándar para que las cadenas que se ven iguales usen los mismos puntos de código. Las cuatro formas son NFD, NFC, NFKD y NFKC; las formas K también convierten caracteres de compatibilidad, como las formas de presentación árabes y las ligaduras, en letras normales.

También llamado: normalización Unicode, normalizar Unicode, formas de normalización, NFC, NFKC, NFD, NFKD, Unicode normalization

Dos cadenas pueden verse idénticas en pantalla y aun así fallar una comparación de igualdad. La normalización Unicode es la solución.

Cómo funciona

UAX #15 define cuatro formas:

Forma Definición
NFD Descomposición canónica
NFC Descomposición canónica, luego composición canónica
NFKD Descomposición de compatibilidad
NFKC Descomposición de compatibilidad, luego composición canónica

Los equivalentes canónicos deberían verse y comportarse igual, en palabras de MDN. Los equivalentes de compatibilidad “should be treated alike in some — but not necessarily all — applications” (traducción: deberían tratarse igual en algunas aplicaciones, pero no necesariamente en todas), así que NFKC y NFKD pueden cambiar la apariencia del texto. normalize() de JavaScript usa NFC por defecto. Python ofrece las mismas cuatro formas en unicodedata.normalize(form, s), y unicodedata.is_normalized para comprobar una cadena.

El árabe muestra ambos tipos.

Canónica. El estándar Unicode dice que أ (U+0623) se descompone en ا (U+0627) más U+0654 HAMZA ABOVE. El texto de algunos teclados o conversores llega en la forma de dos caracteres. NFC lo recompone en U+0623, así que coincide.

Compatibilidad. Unicode codifica las formas de presentación árabes, formas contextuales de las letras y ligaduras, en U+FB50 a U+FDFF y U+FE70 a U+FEFE, y dice que existen por compatibilidad y “should not be used in general interchange” (traducción: no deberían usarse en el intercambio general). Aun así aparecen en texto copiado de PDF antiguos y en algunas salidas de OCR. NFKC las unifica:

Entrada Punto de código Tras NFKC
ﻻ U+FEFB, LAM WITH ALEF ISOLATED FORM لا (dos letras)
ﷲ U+FDF2, ALLAH ISOLATED FORM الله (cuatro letras)
ﺍ U+FE8D, ALEF ISOLATED FORM ا
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا"   # True
unicodedata.normalize("NFC", "أ") == "أ"    # True

normalize_unicode de CAMeL Tools aplica NFKC por defecto, después de convertir primero dos caracteres especiales, el signo del rial U+FDFC y la ligadura de la basmala U+FDFD, en letras árabes normales.

Por qué importa

  • Búsqueda y RAG. Un documento extraído de un PDF con formas de presentación no coincidirá con una consulta escrita en un teclado normal. Aplique NFKC a ambos antes de las reglas de normalización de texto árabe, que asumen letras estándar.
  • Conteo de tokens. Las formas de presentación son puntos de código distintos de las letras normales, así que un tokenizador puede dividir la misma palabra visible en un número distinto de tokens. En UTF-8, ﻻ ocupa 3 bytes y لا ocupa 4. Cuente ambas versiones en el contador de tokens para árabe si su entrada viene de PDF.
  • Validación. Normalice antes de comparar la salida del modelo con el texto fuente, por ejemplo al comprobar que una entidad extraída aparece realmente en el documento.

En BroadNet Inference

La referencia de la API de BroadNet no dice si la entrada se normaliza en el servidor, así que normalice en su propio código antes de enviar, indexar o comparar texto. Para documentos en árabe, el artículo sobre OCR con LLM de visión y la guía de facturas en árabe explican cómo leer páginas como imágenes con modelos como Gemma 4 VL 26B, lo que evita las capas de texto dañadas de los PDF. Aplique NFKC a cualquier texto que vuelva antes de buscar coincidencias.

Errores comunes

  • Guardar texto en NFKC para mostrarlo; conserve los originales en NFC.
  • Normalizar los documentos pero no las consultas.
  • Suponer que la normalización elimina diacríticos, tatweel o marcas bidi. No lo hace.

Preguntas frecuentes

¿Debo usar NFC o NFKC?

NFC para guardar y mostrar texto, ya que no cambia su apariencia. NFKC para claves de búsqueda y coincidencias, donde precisamente se busca unificar ligaduras y formas de presentación. MDN señala que las formas de compatibilidad cambian la apariencia visual.

¿La normalización Unicode elimina los diacríticos árabes?

No. Los diacríticos son caracteres separados y se mantienen. Eliminarlos es un paso aparte de la normalización de texto árabe.

¿La normalización elimina marcas bidi invisibles o caracteres de ancho cero?

No elimina los controles bidi como U+200F o U+2067; pasan por NFC y NFKC sin cambios. Elimínelos por separado si rompen las coincidencias.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity