BroadRouter
Magsimula

Unicode normalization

Na-update

Ang Unicode normalization ay ang pag-convert ng text sa isang standard na form para pareho ang code point ng mga string na magkamukha. Apat ang form: NFD, NFC, NFKD at NFKC; pinag-iisa rin ng mga K form ang mga compatibility character, gaya ng Arabic presentation forms at ligature, sa ordinaryong letra.

Tinatawag ding: normalization ng Unicode, NFC, NFKC, NFD, NFKD

Puwedeng magkamukha sa screen ang dalawang string pero pumalya pa rin sa equality check. Unicode normalization ang solusyon.

Paano ito gumagana

Apat na form ang itinatakda ng UAX #15:

Form Kahulugan
NFD Canonical decomposition
NFC Canonical decomposition, saka canonical composition
NFKD Compatibility decomposition
NFKC Compatibility decomposition, saka canonical composition

Sa salita ng MDN, dapat magkamukha at magkapareho ng kilos ang mga canonical equivalent. Ang mga compatibility equivalent naman ay “should be treated alike in some — but not necessarily all — applications” (Salin ng BroadRouter: “dapat ituring na pareho sa ilan — pero hindi kinakailangang sa lahat — ng application”), kaya puwedeng baguhin ng NFKC at NFKD ang hitsura ng text. NFC ang default ng normalize() ng JavaScript. Inaalok ng Python ang parehong apat na form sa unicodedata.normalize(form, s), at ang unicodedata.is_normalized para subukin ang isang string.

Makikita ang dalawang uri sa Arabic.

Canonical. Ayon sa Unicode Standard, nade-decompose ang أ (U+0623) bilang ا (U+0627) dagdag ang U+0654 HAMZA ABOVE. May text mula sa ilang keyboard o converter na dumarating sa anyong dalawang character. Ibinabalik ito ng NFC sa U+0623, kaya tumutugma ito.

Compatibility. Ine-encode ng Unicode ang mga Arabic presentation form, mga hugis ng letra ayon sa context at mga ligature, sa U+FB50 hanggang U+FDFF at U+FE70 hanggang U+FEFE, at sinasabing para sa compatibility ang mga ito at “should not be used in general interchange” (Salin ng BroadRouter: “hindi dapat gamitin sa pangkalahatang palitan”). Lumalabas pa rin sila sa text na kinopya mula sa mga lumang PDF at sa ilang OCR output. Pinag-iisa sila ng NFKC:

Input Code point Pagkatapos ng NFKC
ﻻ U+FEFB, LAM WITH ALEF ISOLATED FORM لا (dalawang letra)
ﷲ U+FDF2, ALLAH ISOLATED FORM الله (apat na letra)
ﺍ U+FE8D, ALEF ISOLATED FORM ا
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا"   # True
unicodedata.normalize("NFC", "أ") == "أ"    # True

Inilalapat ng normalize_unicode ng CAMeL Tools ang NFKC bilang default, pagkatapos munang i-map ang dalawang espesyal na character, ang Rial sign na U+FDFC at ang Basmala ligature na U+FDFD, sa mga ordinaryong Arabic na letra.

Bakit ito mahalaga

  • Search at RAG. Hindi tutugma ang dokumentong kinuha mula sa PDF na may presentation forms sa query na tina-type sa normal na keyboard. Patakbuhin ang NFKC sa dalawa bago ang mga patakaran ng Arabic text normalization, na umaasang standard ang mga letra.
  • Bilang ng token. Magkaibang code point ang presentation forms at ang mga ordinaryong letra, kaya puwedeng hatiin ng tokenizer ang parehong nakikitang salita sa ibang bilang ng token. Sa UTF-8, 3 byte ang ﻻ at 4 ang لا. Bilangin ang dalawang bersiyon sa Arabic token counter kung galing sa PDF ang input mo.
  • Validation. Mag-normalize bago ikumpara ang output ng model sa source text, halimbawa kapag sinusuri kung talagang nasa dokumento ang isang na-extract na entity.

Sa BroadNet Inference

Hindi sinasabi ng API reference ng BroadNet kung nino-normalize sa server ang input, kaya mag-normalize sa sarili mong code bago ka magpadala, mag-index o magkumpara ng text. Para sa mga Arabic na dokumento, saklaw ng post tungkol sa OCR gamit ang vision LLM at ng gabay sa Arabic invoices ang pagbasa ng mga page bilang larawan gamit ang mga model gaya ng Gemma 4 VL 26B, na umiiwas sa sirang text layer ng PDF. Patakbuhin ang NFKC sa anumang text na bumalik bago mo ito itugma.

Mga karaniwang pagkakamali

  • Pag-store ng NFKC na text para sa display; panatilihin ang mga NFC na orihinal.
  • Pag-normalize sa mga dokumento pero hindi sa mga query.
  • Pag-aakalang tinatanggal ng normalization ang mga diacritic, tatweel o bidi mark. Hindi nito ginagawa iyon.

Mga tanong

NFC ba o NFKC ang dapat kong gamitin?

NFC para sa pag-store at pag-display ng text, dahil hindi nito binabago ang hitsura. NFKC para sa mga search key at matching, kung saan gusto mong pag-isahin ang mga ligature at presentation form. Ayon sa MDN, binabago ng mga compatibility form ang visual na hitsura.

Tinatanggal ba ng Unicode normalization ang Arabic diacritics?

Hindi. Hiwalay na character ang mga diacritic at nananatili sila. Hiwalay na hakbang ng Arabic text normalization ang pag-alis sa mga ito.

Tinatanggal ba ng normalization ang mga invisible bidi mark o zero-width character?

Hindi ang mga bidi control gaya ng U+200F o U+2067; dumaraan sila sa NFC at NFKC nang hindi nagbabago. Tanggalin sila nang hiwalay kung sinisira nila ang matching.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity