BroadRouter
Başlayın

Unicode normalizasyonu (Unicode normalization)

Güncellendi

Unicode normalizasyonu, aynı görünen dizelerin aynı kod noktalarını kullanması için metni standart bir biçime dönüştürür. Dört biçim NFD, NFC, NFKD ve NFKC'dir; K biçimleri ayrıca Arapça sunum biçimleri ve bitişik harfler (ligatür) gibi uyumluluk karakterlerini sıradan harflere katlar.

Diğer adları: Unicode normalizasyonu, Unicode normalleştirme, NFC, NFKC, NFD, NFKD, Unicode normalization

İki dize ekranda birebir aynı görünüp yine de eşitlik kontrolünden geçemeyebilir. Çözüm Unicode normalizasyonudur.

Nasıl çalışır

UAX #15 dört biçim tanımlar:

Biçim Tanım
NFD Kanonik ayrıştırma
NFC Kanonik ayrıştırma, ardından kanonik birleştirme
NFKD Uyumluluk ayrıştırması
NFKC Uyumluluk ayrıştırması, ardından kanonik birleştirme

MDN’nin ifadesiyle kanonik eşdeğerler aynı görünmeli ve aynı davranmalıdır. Uyumluluk eşdeğerleri ise “should be treated alike in some — but not necessarily all — applications” (çeviri: bazı uygulamalarda, ama hepsinde olmayabilir, aynı muamele görmelidir); bu yüzden NFKC ve NFKD metnin görünümünü değiştirebilir. JavaScript’in normalize() fonksiyonu varsayılan olarak NFC kullanır. Python aynı dört biçimi unicodedata.normalize(form, s) ile, bir dizeyi test etmek için de unicodedata.is_normalized sunar.

Arapça her iki türü de gösterir.

Kanonik. Unicode Standardı, أ (U+0623) karakterinin ا (U+0627) artı U+0654 HAMZA ABOVE olarak ayrıştığını söyler. Bazı klavyelerden veya dönüştürücülerden gelen metin iki karakterli biçimde gelir. NFC bunu yeniden U+0623’e birleştirir, böylece eşleşir.

Uyumluluk. Unicode, Arapça sunum biçimlerini, yani bağlama göre değişen harf şekillerini ve bitişik harfleri, U+FB50 ile U+FDFF ve U+FE70 ile U+FEFE aralıklarında kodlar; bunların uyumluluk için olduğunu ve “should not be used in general interchange” (çeviri: genel veri alışverişinde kullanılmamalıdır) olduğunu söyler. Yine de eski PDF’lerden kopyalanan metinlerde ve bazı OCR çıktılarında karşımıza çıkarlar. NFKC bunları katlar:

Girdi Kod noktası NFKC sonrası
ﻻ U+FEFB, LAM WITH ALEF ISOLATED FORM لا (iki harf)
ﷲ U+FDF2, ALLAH ISOLATED FORM الله (dört harf)
ﺍ U+FE8D, ALEF ISOLATED FORM ا
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا"   # True
unicodedata.normalize("NFC", "أ") == "أ"    # True

CAMeL Tools’un normalize_unicode fonksiyonu varsayılan olarak NFKC uygular; öncesinde iki özel karakteri, Riyal işareti U+FDFC’yi ve Besmele bitişik harfi U+FDFD’yi, sıradan Arapça harflere eşler.

Neden önemli

  • Arama ve RAG. Sunum biçimleri içeren bir PDF’ten çıkarılmış belge, normal bir klavyeyle yazılmış bir sorguyla eşleşmez. Standart harfleri varsayan Arapça metin normalizasyonu kurallarından önce ikisine de NFKC uygulayın.
  • Token sayıları. Sunum biçimleri sıradan harflerden farklı kod noktalarıdır; bu yüzden bir tokenizer aynı görünen kelimeyi farklı sayıda token’a bölebilir. UTF-8’de ﻻ 3 bayt, لا ise 4 bayttır. Girdiniz PDF’lerden geliyorsa iki sürümü de Arapça token sayacında sayın.
  • Doğrulama. Model çıktısını kaynak metinle karşılaştırmadan önce normalleştirin; örneğin çıkarılan bir varlığın belgede gerçekten geçtiğini kontrol ederken.

BroadNet Inference’ta

BroadNet’in API referansı girdinin sunucuda normalleştirilip normalleştirilmediğini söylemez; bu yüzden metni göndermeden, indekslemeden veya karşılaştırmadan önce kendi kodunuzda normalleştirin. Arapça belgeler için görüntü LLM’leriyle OCR yazısı ve Arapça faturalar rehberi, sayfaları Gemma 4 VL 26B gibi modellerle görüntü olarak okumayı anlatır; bu, bozuk PDF metin katmanlarından kaçınmanızı sağlar. Geri gelen metne, eşleştirmeden önce NFKC uygulayın.

Sık yapılan hatalar

  • Gösterim için NFKC metni saklamak; NFC asıllarını koruyun.
  • Belgeleri normalleştirip sorguları normalleştirmemek.
  • Normalizasyonun harekeleri, tatvili (tatweel) veya bidi işaretlerini kaldırdığını varsaymak. Kaldırmaz.

Sık sorulan sorular

NFC mi kullanmalıyım, NFKC mi?

Metni saklamak ve göstermek için NFC, çünkü görünümü değiştirmez. Arama anahtarları ve eşleştirme için NFKC; orada bitişik harflerin ve sunum biçimlerinin katlanması zaten istenen şeydir. MDN, uyumluluk biçimlerinin görsel görünümü değiştirdiğini not eder.

Unicode normalizasyonu Arapça harekeleri kaldırır mı?

Hayır. Harekeler ayrı karakterlerdir ve yerinde kalır. Onları kaldırmak, Arapça metin normalizasyonunun ayrı bir adımıdır.

Normalizasyon görünmez bidi işaretlerini veya sıfır genişlikli karakterleri kaldırır mı?

U+200F veya U+2067 gibi bidi kontrol karakterlerini kaldırmaz; bunlar NFC ve NFKC'den değişmeden geçer. Eşleştirmeyi bozuyorlarsa ayrıca temizleyin.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor