Puwedeng magkamukha sa screen ang dalawang string pero pumalya pa rin sa equality check. Unicode normalization ang solusyon.
Paano ito gumagana
Apat na form ang itinatakda ng UAX #15:
| Form | Kahulugan |
|---|---|
| NFD | Canonical decomposition |
| NFC | Canonical decomposition, saka canonical composition |
| NFKD | Compatibility decomposition |
| NFKC | Compatibility decomposition, saka canonical composition |
Sa salita ng MDN, dapat magkamukha at magkapareho ng kilos ang mga canonical equivalent. Ang mga compatibility equivalent naman ay “should be treated alike in some — but not necessarily all — applications” (Salin ng BroadRouter: “dapat ituring na pareho sa ilan — pero hindi kinakailangang sa lahat — ng application”), kaya puwedeng baguhin ng NFKC at NFKD ang hitsura ng text. NFC ang default ng normalize() ng JavaScript. Inaalok ng Python ang parehong apat na form sa unicodedata.normalize(form, s), at ang unicodedata.is_normalized para subukin ang isang string.
Makikita ang dalawang uri sa Arabic.
Canonical. Ayon sa Unicode Standard, nade-decompose ang أ (U+0623) bilang ا (U+0627) dagdag ang U+0654 HAMZA ABOVE. May text mula sa ilang keyboard o converter na dumarating sa anyong dalawang character. Ibinabalik ito ng NFC sa U+0623, kaya tumutugma ito.
Compatibility. Ine-encode ng Unicode ang mga Arabic presentation form, mga hugis ng letra ayon sa context at mga ligature, sa U+FB50 hanggang U+FDFF at U+FE70 hanggang U+FEFE, at sinasabing para sa compatibility ang mga ito at “should not be used in general interchange” (Salin ng BroadRouter: “hindi dapat gamitin sa pangkalahatang palitan”). Lumalabas pa rin sila sa text na kinopya mula sa mga lumang PDF at sa ilang OCR output. Pinag-iisa sila ng NFKC:
| Input | Code point | Pagkatapos ng NFKC |
|---|---|---|
| ﻻ | U+FEFB, LAM WITH ALEF ISOLATED FORM | لا (dalawang letra) |
| ﷲ | U+FDF2, ALLAH ISOLATED FORM | الله (apat na letra) |
| ﺍ | U+FE8D, ALEF ISOLATED FORM | ا |
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا" # True
unicodedata.normalize("NFC", "أ") == "أ" # True
Inilalapat ng normalize_unicode ng CAMeL Tools ang NFKC bilang default, pagkatapos munang i-map ang dalawang espesyal na character, ang Rial sign na U+FDFC at ang Basmala ligature na U+FDFD, sa mga ordinaryong Arabic na letra.
Bakit ito mahalaga
- Search at RAG. Hindi tutugma ang dokumentong kinuha mula sa PDF na may presentation forms sa query na tina-type sa normal na keyboard. Patakbuhin ang NFKC sa dalawa bago ang mga patakaran ng Arabic text normalization, na umaasang standard ang mga letra.
- Bilang ng token. Magkaibang code point ang presentation forms at ang mga ordinaryong letra, kaya puwedeng hatiin ng tokenizer ang parehong nakikitang salita sa ibang bilang ng token. Sa UTF-8, 3 byte ang ﻻ at 4 ang لا. Bilangin ang dalawang bersiyon sa Arabic token counter kung galing sa PDF ang input mo.
- Validation. Mag-normalize bago ikumpara ang output ng model sa source text, halimbawa kapag sinusuri kung talagang nasa dokumento ang isang na-extract na entity.
Sa BroadNet Inference
Hindi sinasabi ng API reference ng BroadNet kung nino-normalize sa server ang input, kaya mag-normalize sa sarili mong code bago ka magpadala, mag-index o magkumpara ng text. Para sa mga Arabic na dokumento, saklaw ng post tungkol sa OCR gamit ang vision LLM at ng gabay sa Arabic invoices ang pagbasa ng mga page bilang larawan gamit ang mga model gaya ng Gemma 4 VL 26B, na umiiwas sa sirang text layer ng PDF. Patakbuhin ang NFKC sa anumang text na bumalik bago mo ito itugma.
Mga karaniwang pagkakamali
- Pag-store ng NFKC na text para sa display; panatilihin ang mga NFC na orihinal.
- Pag-normalize sa mga dokumento pero hindi sa mga query.
- Pag-aakalang tinatanggal ng normalization ang mga diacritic, tatweel o bidi mark. Hindi nito ginagawa iyon.