İki dize ekranda birebir aynı görünüp yine de eşitlik kontrolünden geçemeyebilir. Çözüm Unicode normalizasyonudur.
Nasıl çalışır
UAX #15 dört biçim tanımlar:
| Biçim | Tanım |
|---|---|
| NFD | Kanonik ayrıştırma |
| NFC | Kanonik ayrıştırma, ardından kanonik birleştirme |
| NFKD | Uyumluluk ayrıştırması |
| NFKC | Uyumluluk ayrıştırması, ardından kanonik birleştirme |
MDN’nin ifadesiyle kanonik eşdeğerler aynı görünmeli ve aynı davranmalıdır. Uyumluluk eşdeğerleri ise “should be treated alike in some — but not necessarily all — applications” (çeviri: bazı uygulamalarda, ama hepsinde olmayabilir, aynı muamele görmelidir); bu yüzden NFKC ve NFKD metnin görünümünü değiştirebilir. JavaScript’in normalize() fonksiyonu varsayılan olarak NFC kullanır. Python aynı dört biçimi unicodedata.normalize(form, s) ile, bir dizeyi test etmek için de unicodedata.is_normalized sunar.
Arapça her iki türü de gösterir.
Kanonik. Unicode Standardı, أ (U+0623) karakterinin ا (U+0627) artı U+0654 HAMZA ABOVE olarak ayrıştığını söyler. Bazı klavyelerden veya dönüştürücülerden gelen metin iki karakterli biçimde gelir. NFC bunu yeniden U+0623’e birleştirir, böylece eşleşir.
Uyumluluk. Unicode, Arapça sunum biçimlerini, yani bağlama göre değişen harf şekillerini ve bitişik harfleri, U+FB50 ile U+FDFF ve U+FE70 ile U+FEFE aralıklarında kodlar; bunların uyumluluk için olduğunu ve “should not be used in general interchange” (çeviri: genel veri alışverişinde kullanılmamalıdır) olduğunu söyler. Yine de eski PDF’lerden kopyalanan metinlerde ve bazı OCR çıktılarında karşımıza çıkarlar. NFKC bunları katlar:
| Girdi | Kod noktası | NFKC sonrası |
|---|---|---|
| ﻻ | U+FEFB, LAM WITH ALEF ISOLATED FORM | لا (iki harf) |
| ﷲ | U+FDF2, ALLAH ISOLATED FORM | الله (dört harf) |
| ﺍ | U+FE8D, ALEF ISOLATED FORM | ا |
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا" # True
unicodedata.normalize("NFC", "أ") == "أ" # True
CAMeL Tools’un normalize_unicode fonksiyonu varsayılan olarak NFKC uygular; öncesinde iki özel karakteri, Riyal işareti U+FDFC’yi ve Besmele bitişik harfi U+FDFD’yi, sıradan Arapça harflere eşler.
Neden önemli
- Arama ve RAG. Sunum biçimleri içeren bir PDF’ten çıkarılmış belge, normal bir klavyeyle yazılmış bir sorguyla eşleşmez. Standart harfleri varsayan Arapça metin normalizasyonu kurallarından önce ikisine de NFKC uygulayın.
- Token sayıları. Sunum biçimleri sıradan harflerden farklı kod noktalarıdır; bu yüzden bir tokenizer aynı görünen kelimeyi farklı sayıda token’a bölebilir. UTF-8’de ﻻ 3 bayt, لا ise 4 bayttır. Girdiniz PDF’lerden geliyorsa iki sürümü de Arapça token sayacında sayın.
- Doğrulama. Model çıktısını kaynak metinle karşılaştırmadan önce normalleştirin; örneğin çıkarılan bir varlığın belgede gerçekten geçtiğini kontrol ederken.
BroadNet Inference’ta
BroadNet’in API referansı girdinin sunucuda normalleştirilip normalleştirilmediğini söylemez; bu yüzden metni göndermeden, indekslemeden veya karşılaştırmadan önce kendi kodunuzda normalleştirin. Arapça belgeler için görüntü LLM’leriyle OCR yazısı ve Arapça faturalar rehberi, sayfaları Gemma 4 VL 26B gibi modellerle görüntü olarak okumayı anlatır; bu, bozuk PDF metin katmanlarından kaçınmanızı sağlar. Geri gelen metne, eşleştirmeden önce NFKC uygulayın.
Sık yapılan hatalar
- Gösterim için NFKC metni saklamak; NFC asıllarını koruyun.
- Belgeleri normalleştirip sorguları normalleştirmemek.
- Normalizasyonun harekeleri, tatvili (tatweel) veya bidi işaretlerini kaldırdığını varsaymak. Kaldırmaz.